Como resolvo o erro “Failed to start the job flow due to an internal error” no Amazon EMR?

Resolução

Para resolver o erro Failed to start the job flow due to an internal error no Amazon EMR, execute o cluster novamente. Se o erro persistir, conclua as etapas a seguir.

Verifique as permissões para o perfil de serviço do Amazon EMR

Certifique-se de que o perfil de serviço do Amazon EMR EMR_DefaultRole_V2 tenha permissões para usar as chaves especificadas do AWS Key Management Service (AWS KMS). Para executar clusters do Amazon EMR, o perfil de serviço do Amazon EMR deve ter as seguintes permissões:

{  "Version": "2012-10-17",
  "Statement": [{
    "Sid": "EmrDiskEncryptionPolicy",
    "Effect": "Allow",
    "Action": [
      "kms:Encrypt",
      "kms:Decrypt",
      "kms:ReEncrypt*",
      "kms:CreateGrant",
      "kms:GenerateDataKeyWithoutPlaintext",
      "kms:DescribeKey"
    ],
    "Resource": [
      "arn:aws:kms:us-west-2:<account-id>:key/<key-id>"
    ]
  }]
}

Se as instâncias do cluster do Amazon EMR falharem, é possível receber mensagens de erro Connection timed out.

Para solucionar erros Connection timed out, conclua as seguintes etapas:

1. Abra o console do Amazon Elastic Compute Cloud (Amazon EC2).
2. Selecione o nó do Amazon EC2 encerrado.
   Observação: o nó encerrado está disponível por 1 a 2 horas no console do Amazon EC2.
3. Na lista suspensa Ações, clique em Monitorar.
4. Clique em Solucionar problemas e, em seguida, selecione Obter log do sistema.
5. Analise o log do sistema para identificar o problema.

Verifique suas rotas de sub-rede da Amazon VPC

Certifique-se de que suas rotas de sub-rede da Amazon Virtual Private Cloud (Amazon VPC) estejam configuradas corretamente para a fonte de dados que seu cluster usa. Para obter mais informações, consulte Configuração de uma VPC para hospedar clusters do Amazon EMR.

Verifique seus grupos de segurança

Certifique-se de que os grupos de segurança primário, principal e de tarefas estejam configurados corretamente na sub-rede. Para obter mais informações, consulte Trabalhar com grupos de segurança gerenciados pelo Amazon EMR. Além disso, você deve permitir todas as ações necessárias nos perfis padrão do Amazon EMR e no perfil de instância. Depois de configurar as rotas, grupos de segurança e perfis da sub-rede da Amazon VPC, execute um novo cluster.

Informações relacionadas

Configuração de redes em uma VPC no Amazon EMR