Comment créer une application Amazon EMR sans serveur pour exécuter une tâche Spark ?

Résolution

Pour créer une application EMR sans serveur afin d'exécuter une tâche Spark, procédez comme suit :

1. Ouvrez la console Amazon EMR.
2. Dans le volet de navigation, choisissez EMR sans serveur.
3. Créez un nouveau studio EMR ou sélectionnez un studio existant :
   Si vous n'avez pas de studio, choisissez Mise en route, puis choisissez Créer et lancer EMR Studio.
   Si vous possédez un studio, sélectionnez-le, puis choisissez Gérer les applications.
4. Sur la page de l'application, choisissez Créer une application.
5. Entrez le nom de votre application, puis choisissez Créer et démarrer l'application.
   Remarque : Lorsque vous configurez votre application, choisissez Spark comme type et choisissez la version d'Amazon EMR que vous souhaitez utiliser comme version.
6. Une fois que le statut de l'application est passé à Démarré, choisissez le nom de l'application.
7. Choisissez Soumettre l'exécution de tâche par lots.
8. Dans les paramètres de la tâche, entrez le nom de votre tâche et l'emplacement de votre script de compartiment Amazon Simple Storage Service (Amazon S3). Sélectionnez ensuite le rôle d'exécution.
9. (Facultatif) Pour exécuter une tâche de comptage de mots Spark en tant qu'exemple de tâche, définissez s3://example-region.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py dans l’emplacement du script et s3://example-bucket/example-output dans les arguments du script.
   Remarque : Si vous n'avez pas de rôle d'exécution, choisissez Créer un nouveau rôle, puis choisissez Créer un rôle. Pour plus d'informations, consultez la section Rôles d'exécution des tâches pour Amazon EMR sans serveur.
10. Choisissez Envoyer l'exécution de tâche.
11. Dans l'onglet Exécution de tâches par lots, confirmez que votre tâche Spark est exécutée.
12. Une fois que le statut d’exécution passe à Succès, vous pouvez vérifier les résultats de votre tâche. Si vous avez exécuté une tâche de comptage de mots sur Spark, vérifiez votre chemin Amazon S3 pour connaître les résultats de votre tâche.
13. Pour afficher l'interface utilisateur de Spark, sélectionnez le nom de l'exécution de la tâche. Procédez comme suit :
    Choisissez Consulter les interfaces utilisateur d’application.
    Choisissez Interface utilisateur Spark (Tâches en cours d’exécution) ou Serveur d’historique Spark (Tâches terminées).
    Remarque : Dans l'interface utilisateur Spark, vous pouvez récupérer les journaux de pilotes et d'exécution correspondants dans l'onglet Exécuteurs. Lorsque vous soumettez une tâche exécutée, vous pouvez choisir la manière dont EMR sans serveur stocke et diffuse les journaux des applications.

Informations connexes

How do I use alternative storage options for EMR Serverless?