Wie behebe ich den Fehler „Failed to start the job flow due to an internal error“ in Amazon EMR?

Lösung

Um den Fehler Failed to start the job flow due to an internal error in Amazon EMR zu beheben, starte den Cluster erneut. Wenn der Fehler weiterhin auftritt, gehe wie folgt vor.

Berechtigungen für die Amazon EMR-Servicerolle überprüfen

Stelle sicher, dass die Amazon EMR-Servicerolle EMR_DefaultRole_V2 über Berechtigungen zur Verwendung der angegebenen AWS Key Management Service (AWS KMS)-Schlüssel verfügt. Um Amazon EMR-Cluster zu starten, muss die Amazon-EMR-Servicerolle über die folgenden Berechtigungen verfügen:

{  "Version": "2012-10-17",
  "Statement": [{
    "Sid": "EmrDiskEncryptionPolicy",
    "Effect": "Allow",
    "Action": [
      "kms:Encrypt",
      "kms:Decrypt",
      "kms:ReEncrypt*",
      "kms:CreateGrant",
      "kms:GenerateDataKeyWithoutPlaintext",
      "kms:DescribeKey"
    ],
    "Resource": [
      "arn:aws:kms:us-west-2:<account-id>:key/<key-id>"
    ]
  }]
}

Wenn die Amazon-EMR-Cluster-Instances ausfallen, erhältst du möglicherweise die Fehlermeldung Connection timed out.

Gehe wie folgt vor, um die Fehler Connection timed out zu beheben:

1. Öffne die Amazon Elastic Compute Cloud (Amazon EC2)-Konsole.
2. Wähle den beendeten Amazon-EC2-Knoten aus.
   Hinweis: Der beendete Knoten ist für 1 bis 2 Stunden in der Amazon-EC2-Konsole verfügbar.
3. Wähle in der Dropdown-Liste Aktionen die Option Überwachen aus.
4. Wähle Problembehebung und dann Systemprotokoll abrufen aus.
5. Überprüfe das Systemprotokoll, um das Problem zu ermitteln.

Überprüfen der Amazon-VPC-Subnetzrouten

Stelle sicher, dass die Amazon Virtual Private Cloud (Amazon VPC)-Subnetzrouten für die Datenquelle, die dein Cluster verwendet, korrekt konfiguriert sind. Weitere Informationen findest du unter Eine VPC zum Hosten von Amazon EMR-Clustern einrichten.

Überprüfen der Sicherheitsgruppen

Stelle sicher, dass die Primär-, Core- und Aufgabensicherheitsgruppen für das Subnetz korrekt konfiguriert sind. Weitere Informationen findest du unter Arbeiten mit von Amazon EMR verwalteten Sicherheitsgruppen. Außerdem musst du alle erforderlichen Aktionen in den standardmäßigen Amazon-EMR-Rollen und der Instance-Profilrolle zulassen. Nachdem du die Amazon-VPC-Subnetzrouten, Sicherheitsgruppen und Rollen konfiguriert hast, starte einen neuen Cluster.

Weitere Informationen

Netzwerkkonfiguration in einer VPC für Amazon EMR