Glueのjob実行でResourceNumberLimitExceededException

0

Glueのjobを実行するとjob開始時に ResourceNumberLimitExceededException が発生してjobが実行できません。 jobは、S3に数件のCSVを保存してParquetに変換してS3に書き出す、という内容です。 アカウントは数年前に作成して初めてGlueを使っています。クローラは普通に動きました。 AWS Service Quotasで確認してもjob数の上限画0がになっている、といった問題はありません。 対策をご存知でしたらご教示下さい。

pusaku
질문됨 10달 전403회 조회
1개 답변
0
수락된 답변

Glueジョブはいくつ動かしていますか?
アカウント内で同時に動かせるジョブはデフォルトだと50に制限されています。
https://docs.aws.amazon.com/ja_jp/general/latest/gr/glue.html

また、他に出力されているエラーなどはありますか?

profile picture
전문가
답변함 10달 전
  • ありがとうございます。 Glueジョブが動いているのは0個です。初めて動かそうとしてエラーが出ています。 エラーメッセージは以下(のみ)が出ます。

    Failed to start job [gluestudio-service.ap-northeast-1.amazonaws.com] startJobRun: ResourceNumberLimitExceededException: Reached the limit while starting a run for job with name: pythonscript. (Service: AWSGlue; Status Code: 400; Error Code: ResourceNumberLimitExceededException; Request ID: xxxxxxxxxxxxxxxxx; Proxy: null)

    Glueのクォータ設定は下記です("job"で検索)

    クォータの名称. 適用されたクォータ値

    Max concurrent job runs per account. 200 Max concurrent job runs per job. 1,000 Max jobs per account. 1,000 Max jobs per trigger. 50

  • 確かにクォータを見ると制限されているようには見えません。 念のためAWSサポートに「アカウントおよび請求のサポート」でケースを開いて確認した方がよいと思います。 稀にですが、サービスによってはデフォルトのクォータよりも制限されていることがあります。(サービスクォータの表示よりも少なくなっていることがあります) https://docs.aws.amazon.com/ja_jp/awssupport/latest/user/case-management.html

  • ありがとうございます。AWSサポートに確認いたします。 ご回答感謝いたします。

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인