Glueのjob実行でResourceNumberLimitExceededException

0

Glueのjobを実行するとjob開始時に ResourceNumberLimitExceededException が発生してjobが実行できません。 jobは、S3に数件のCSVを保存してParquetに変換してS3に書き出す、という内容です。 アカウントは数年前に作成して初めてGlueを使っています。クローラは普通に動きました。 AWS Service Quotasで確認してもjob数の上限画0がになっている、といった問題はありません。 対策をご存知でしたらご教示下さい。

pusaku
gefragt vor 10 Monaten403 Aufrufe
1 Antwort
0
Akzeptierte Antwort

Glueジョブはいくつ動かしていますか?
アカウント内で同時に動かせるジョブはデフォルトだと50に制限されています。
https://docs.aws.amazon.com/ja_jp/general/latest/gr/glue.html

また、他に出力されているエラーなどはありますか?

profile picture
EXPERTE
beantwortet vor 10 Monaten
  • ありがとうございます。 Glueジョブが動いているのは0個です。初めて動かそうとしてエラーが出ています。 エラーメッセージは以下(のみ)が出ます。

    Failed to start job [gluestudio-service.ap-northeast-1.amazonaws.com] startJobRun: ResourceNumberLimitExceededException: Reached the limit while starting a run for job with name: pythonscript. (Service: AWSGlue; Status Code: 400; Error Code: ResourceNumberLimitExceededException; Request ID: xxxxxxxxxxxxxxxxx; Proxy: null)

    Glueのクォータ設定は下記です("job"で検索)

    クォータの名称. 適用されたクォータ値

    Max concurrent job runs per account. 200 Max concurrent job runs per job. 1,000 Max jobs per account. 1,000 Max jobs per trigger. 50

  • 確かにクォータを見ると制限されているようには見えません。 念のためAWSサポートに「アカウントおよび請求のサポート」でケースを開いて確認した方がよいと思います。 稀にですが、サービスによってはデフォルトのクォータよりも制限されていることがあります。(サービスクォータの表示よりも少なくなっていることがあります) https://docs.aws.amazon.com/ja_jp/awssupport/latest/user/case-management.html

  • ありがとうございます。AWSサポートに確認いたします。 ご回答感謝いたします。

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen