我想對 Amazon EMR 叢集中的失敗步驟進行疑難排解。
簡短描述
對於使用 Step API 操作提交的步驟,Amazon EMR 可識別並傳回步驟失敗的根本原因。Amazon EMR 5.x 和更新版本也會透過 API 傳回相關日誌檔案的名稱,以及部分應用程式堆疊追蹤。
**注意:**您可以使用下列資訊對任何應用程式的 Amazon EMR 步驟進行疑難排解。如需失敗的 Apache Spark 步驟的特定資訊,請參閱如何疑難排解 Amazon EMR 中失敗的 Spark 步驟?
解決方案
**注意:**如需步驟日誌類型的說明,請參閱檢查步驟日誌。
使用 AWS 管理主控台檢視步驟日誌
如需詳細資訊,請參閱增強的步驟偵錯中的使用 AWS 主控台檢視故障詳細資訊。
使用 AWS CLI 檢視步驟詳細資訊
**注意:**如果您在執行 AWS Command Line Interface (AWS CLI) 命令時收到錯誤,請確保您使用的是最新版 AWS CLI。
使用 describe-step 命令,如下列範例所示。在下列命令中,將 cluster-id 和 step-id 取代為您所使用案例的正確值。
aws emr describe-step --cluster-id j-1K48XXXXXHCB --step-id s-3QM0XXXXXM1W
如需詳細資訊,請參閱增強的步驟偵錯中的使用 AWS CLI 檢視故障詳細資訊。
使用 SSH 檢視主節點上的步驟日誌檔案
如需詳細資訊,請參閱檢視主節點上的日誌檔案。
檢視在 Amazon S3 中存檔的日誌檔案
1. 打開 Amazon Simple Storage Service (Amazon S3) 主控台。
2. 選取指定為 S3 日誌 URI 的 S3 儲存貯體,日誌檔案封存在該儲存貯體中。
3. 導覽到以下路徑並下載日誌檔案物件:cluster-id/steps/step-id/。
如需詳細資訊,請參閱檢視存檔到 Amazon S3 的日誌檔案。
在偵錯工具中檢視步驟日誌
**注意:**在 Amazon EMR 中不會自動開啟偵錯工具。如需有關開啟偵錯工具的資訊,請參閱開啟偵錯工具。
如需有關在偵錯工具中檢視步驟日誌的資訊,請參閱在偵錯工具中檢視日誌檔案。
相關資訊
如何取消 Amazon EMR 步驟?