使用Step函数的同步Glue作业较慢地识别Glue作业的完成。

0

【以下的问题经过翻译处理】 在使用一种步骤函数来执行一个Glue作业。步骤函数被设置为同步模式运行,然而通常会有一个2-4分钟的延迟,从Glue作业完成到步骤函数认为Glue作业已经完成并转到下一步。举例来说,Glue作业的最后一次运行花费了15分钟,但是步骤函数在这个步骤上花费了19分钟的时间。是否还有其他人遇到过这样的问题?我唯一的选择是在异步模式下执行,并更频繁地轮询完成吗?

profile picture
EXPERTE
gefragt vor 5 Monaten14 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 因为Glue不支持使用cloudwatch事件通知步骤函数的最新状态,EMR也是如此。目前,默认的轮询计划是前10分钟每1分钟,之后每5分钟一次。因此,如果作业执行需要超过10分钟,那么你可以预计平均延迟2.5分钟,最坏情况为5分钟。唯一的解决方案是通过调用EMR/Glue的Describe * API来轮询状态,最多每5分钟一次。步骤函数团队已经了解了这个问题,并正在尝试实现解决方案。

你可以在 Lambda 函数中实现解决方案,使用 Describe API 调用更频繁地查询 EMR/Glue 作业状态。

如果你需要更深入的协助关于此问题,我建议你向步骤函数的技术支持团队提出支持案例。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen