我想解决 Amazon EMR 中的“Failed to start the job flow due to an internal error”(由于内部错误无法启动作业流)错误。
解决方法
要解决 Amazon EMR 中的 Failed to start the job flow due to an internal error(由于内部错误无法启动作业流)错误,请重新启动集群。如果错误仍然出现,请完成以下步骤。
检查 Amazon EMR 服务角色的权限
确保 Amazon EMR 服务角色 EMR_DefaultRole_V2 有权使用指定的 AWS Key Management Service (AWS KMS) 密钥。要启动 Amazon EMR 集群,Amazon EMR 服务角色必须具有以下权限:
{ "Version": "2012-10-17",
"Statement": [{
"Sid": "EmrDiskEncryptionPolicy",
"Effect": "Allow",
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:CreateGrant",
"kms:GenerateDataKeyWithoutPlaintext",
"kms:DescribeKey"
],
"Resource": [
"arn:aws:kms:us-west-2:<account-id>:key/<key-id>"
]
}]
}
如果 Amazon EMR 集群实例出现故障,则您可能会收到 Connection timed out(连接超时)错误。
要对 Connection timed out(连接超时)错误进行故障排除,请完成以下步骤:
- 打开 Amazon Elastic Compute Cloud (Amazon EC2) 控制台。
- 选择已终止的 Amazon EC2 节点。
**注意:**已终止节点可在 Amazon EC2 控制台上使用 1 到 2 小时。
- 在 Actions(操作)下拉列表中,选择 Monitor(监控)。
- 选择 Troubleshoot(故障排除),然后选择 Get system log(获取系统日志)。
- 查看您的系统日志以确定问题。
检查您的 Amazon VPC 子网路由
确保为集群使用的数据源正确配置了 Amazon Virtual Private Cloud (Amazon VPC) 子网路由。有关详细信息,请参阅设置 VPC 以托管 Amazon EMR 集群。
检查您的安全组
确保为子网正确配置了主安全组、核心安全组和任务安全组。有关详细信息,请参阅使用 Amazon EMR 托管式安全组。此外,您必须允许在默认 Amazon EMR 角色和实例配置文件角色中执行所有必需的操作。配置 Amazon VPC 子网路由、安全组和角色后,启动新集群。
相关信息
在 VPC 中为 Amazon EMR 配置联网