Pourquoi mes instances Spot ne sont-elles pas provisionnées lors du redimensionnement d'un cluster EMR ?

Résolution

Amazon Elastic Compute Cloud (Amazon EC2) peut interrompre votre instance Spot à tout moment pour les raisons suivantes :

• Manque de capacité Spot.
• Amazon EC2 ne peut pas répondre aux contraintes de demande.
• Le prix de Spot est supérieur au prix maximum désigné.
• Votre quota de comptes d’instances Spot est épuisé. Pour résoudre ce problème, vous pouvez demander une augmentation du quota de service.

Pour plus d'informations, consultez la section Pourquoi Amazon EC2 a-t-il interrompu mon instance Spot ?

Remarque : Il est recommandé d'utiliser des instances Spot pour des charges de travail indépendantes, tolérantes aux pannes et suffisamment flexibles pour résister aux interruptions.

Les instances Spot et les instances à la demande peuvent également ne pas être provisionnées, car les scripts bootstrap sont modifiés ou contiennent des erreurs.

Consultez les journaux du script bootstrap à l'adresse /emr/instance-controller/log/bootstrap-actions ou s3://cluster_id/node-failed/bootstrap-actions/stderr.gz.

Par exemple, le journal des actions bootstrap suivant indique que l'action bootstrap 1 (emr_bootstrap_actions.sh) a échoué :

Another app is currently holding the yum lock; waiting for it to exit...  The other application is: yum
    Memory : 125 M RSS (444 MB VSZ)
    Started: Tue Jul 19 05:36:36 2022 - 00:03 ago
    State  : Running, pid: 7914
Error: Package: falcon-sensor-4.18.0-6403.amzn2.x86_64 (/falcon-sensor-4.18.0-6403.amzn2.x86_64)
           Requires: systemd  
...  
Bootstrap action failed with exit code: 1  
Instance will be terminated due to bootstrap action failure.

L'erreur précédente peut entraîner la résiliation de tous les nouveaux nœuds de remplacement. Le nœud arrête également de provisionner de nouvelles instances de remplacement et le groupe d'instances du nœud principal passe à l'état Arrêté. Le message d’erreur suivant s’affiche :

« "state": "ARRESTED", "message": "Instance group ig-2JN5######## in Amazon EMR cluster j-37H4####### (emr-#####-spark-cluster) was arrested at for the following reason: Error provisioning instances." »

Corrigez les erreurs du script bootstrap avant de redémarrer le redimensionnement du cluster.

Informations connexes

Interruptions d'instances Spot

Obtenir le statut d'une demande d'instance Spot

Pourquoi mon instance Spot se termine alors que le prix maximum est supérieur au prix Spot ?