GLUE作业导致“分配任务容量限制超出”的异常?错误代码400 InvalidInputException”

0

【以下的问题经过翻译处理】 我的Glue作业默认假定了48小时的超时时间(最初我不知道),因为它们陷入了一个延迟循环测试特定S3存储桶中从未创建的特定文件,所以现在当我运行一个简单的基本的Hello World类型的Glue作业时,它总是以以下错误失败:

JobName:test和JobRunId:jr_6eb6af04d2a560f71d935ab3fca35504d7fdb99b748c0e0266e71402ced4437f_attempt_3无法执行,产生异常分配的任务容量超过了限制。(服务:AWSGlueJobExecutor;状态代码:400;错误代码:InvalidInputException;请求ID:7e43f436-4ca4-403e-a50f-8a15672ea2ef;代理:null)

我认为这个错误可能是由于Glue作业任务可能仍在运行,因此分配的容量限制被超过了,尽管24小时后我看不到任何云监控日志被更新。

问题:

1) 这个错误是否因为Glue作业可能仍在后台运行?

2) 有没有一种方法来列出和结束这些仍在运行的Glue作业以释放这些资源?我已经尝试过使用awscli aws glue batch-get-jobs --job-names ...,但没有列出它们的快乐。

现在,我已经在我的terraform代码中将Glue作业的超时时间更新为60分钟,作为一种保障。

任何帮助或指导将不胜感激,谢谢。

profile picture
专家
已提问 1 年前29 查看次数
1 回答
0

【以下的回答经过翻译处理】 你在运行作业“test”时出现的错误,其作业运行ID“jr_6eb6af04d2a560f71d935ab3fca35504d7fdb99b748c0e0266e71402ced4437f”确实是由于为你的帐户分配的资源被限制导致的。

你可以参考以下文档,了解更多默认配额限制的详细信息: https://docs.aws.amazon.com/general/latest/gr/glue.html

请参考以下回答您的问题:

Q1) 这个错误是因为后台仍有glue作业正在运行吗?

你的假设是正确的。如果有glue作业在运行,资源就会被分配给那个作业,如果你尝试并行运行另一个作业,并且没有足够的资源满足要求,该作业将失败。这是因为配额限制是针对整个帐户设置的。

请参考以下步骤从控制台增加服务配额限制:

  1. 在AWS中打开服务配额控制台
  2. 在左侧面板中单击AWS服务,然后搜索Glue
  3. 单击AWS Glue,然后搜索要增加的配额名称
  4. 单击相应的服务配额,然后选择“请求配额增加”
  5. 添加新值到“更改配额值”下,它将被自动批准。

Q2) 有没有一种方法列出和终止这些仍在运行的glue作业以释放这些资源?我已经尝试了awscli aws glue batch-get-jobs --job-names ...,但是无法列出它们。

为了查看给定作业的所有运行的元数据,你可以使用“get-job-runs”。 使用方法: aws glue get-job-runs --job-name“test”

请参考<https://docs.aws.amazon.com/cli/latest/reference/glue/get

profile picture
专家
已回答 1 年前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则