Glueのjob実行でResourceNumberLimitExceededException

0

Glueのjobを実行するとjob開始時に ResourceNumberLimitExceededException が発生してjobが実行できません。 jobは、S3に数件のCSVを保存してParquetに変換してS3に書き出す、という内容です。 アカウントは数年前に作成して初めてGlueを使っています。クローラは普通に動きました。 AWS Service Quotasで確認してもjob数の上限画0がになっている、といった問題はありません。 対策をご存知でしたらご教示下さい。

pusaku
質問済み 9ヶ月前395ビュー
1回答
0
承認された回答

Glueジョブはいくつ動かしていますか?
アカウント内で同時に動かせるジョブはデフォルトだと50に制限されています。
https://docs.aws.amazon.com/ja_jp/general/latest/gr/glue.html

また、他に出力されているエラーなどはありますか?

profile picture
エキスパート
回答済み 9ヶ月前
  • ありがとうございます。 Glueジョブが動いているのは0個です。初めて動かそうとしてエラーが出ています。 エラーメッセージは以下(のみ)が出ます。

    Failed to start job [gluestudio-service.ap-northeast-1.amazonaws.com] startJobRun: ResourceNumberLimitExceededException: Reached the limit while starting a run for job with name: pythonscript. (Service: AWSGlue; Status Code: 400; Error Code: ResourceNumberLimitExceededException; Request ID: xxxxxxxxxxxxxxxxx; Proxy: null)

    Glueのクォータ設定は下記です("job"で検索)

    クォータの名称. 適用されたクォータ値

    Max concurrent job runs per account. 200 Max concurrent job runs per job. 1,000 Max jobs per account. 1,000 Max jobs per trigger. 50

  • 確かにクォータを見ると制限されているようには見えません。 念のためAWSサポートに「アカウントおよび請求のサポート」でケースを開いて確認した方がよいと思います。 稀にですが、サービスによってはデフォルトのクォータよりも制限されていることがあります。(サービスクォータの表示よりも少なくなっていることがあります) https://docs.aws.amazon.com/ja_jp/awssupport/latest/user/case-management.html

  • ありがとうございます。AWSサポートに確認いたします。 ご回答感謝いたします。

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン