使用Step函数的同步Glue作业较慢地识别Glue作业的完成。
0
【以下的问题经过翻译处理】 在使用一种步骤函数来执行一个Glue作业。步骤函数被设置为同步模式运行，然而通常会有一个2-4分钟的延迟，从Glue作业完成到步骤函数认为Glue作业已经完成并转到下一步。举例来说，Glue作业的最后一次运行花费了15分钟，但是步骤函数在这个步骤上花费了19分钟的时间。是否还有其他人遇到过这样的问题？我唯一的选择是在异步模式下执行，并更频繁地轮询完成吗？
1개 답변
- 최신
- 최다 투표
- 가장 많은 댓글
0
【以下的回答经过翻译处理】 因为Glue不支持使用cloudwatch事件通知步骤函数的最新状态，EMR也是如此。目前，默认的轮询计划是前10分钟每1分钟，之后每5分钟一次。因此，如果作业执行需要超过10分钟，那么你可以预计平均延迟2.5分钟，最坏情况为5分钟。唯一的解决方案是通过调用EMR/Glue的Describe * API来轮询状态，最多每5分钟一次。步骤函数团队已经了解了这个问题，并正在尝试实现解决方案。
你可以在 Lambda 函数中实现解决方案，使用 Describe API 调用更频繁地查询 EMR/Glue 作业状态。
如果你需要更深入的协助关于此问题，我建议你向步骤函数的技术支持团队提出支持案例。
