使用Step函数的同步Glue作业较慢地识别Glue作业的完成。

0

【以下的问题经过翻译处理】 在使用一种步骤函数来执行一个Glue作业。步骤函数被设置为同步模式运行,然而通常会有一个2-4分钟的延迟,从Glue作业完成到步骤函数认为Glue作业已经完成并转到下一步。举例来说,Glue作业的最后一次运行花费了15分钟,但是步骤函数在这个步骤上花费了19分钟的时间。是否还有其他人遇到过这样的问题?我唯一的选择是在异步模式下执行,并更频繁地轮询完成吗?

profile picture
专家
已提问 5 个月前11 查看次数
1 回答
0

【以下的回答经过翻译处理】 因为Glue不支持使用cloudwatch事件通知步骤函数的最新状态,EMR也是如此。目前,默认的轮询计划是前10分钟每1分钟,之后每5分钟一次。因此,如果作业执行需要超过10分钟,那么你可以预计平均延迟2.5分钟,最坏情况为5分钟。唯一的解决方案是通过调用EMR/Glue的Describe * API来轮询状态,最多每5分钟一次。步骤函数团队已经了解了这个问题,并正在尝试实现解决方案。

你可以在 Lambda 函数中实现解决方案,使用 Describe API 调用更频繁地查询 EMR/Glue 作业状态。

如果你需要更深入的协助关于此问题,我建议你向步骤函数的技术支持团队提出支持案例。

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则