1개 답변
- 최신
- 최다 투표
- 가장 많은 댓글
0
【以下的回答经过翻译处理】 嘿,Dave,
这似乎是使用Glue的完美用例,特别是对于不太大规模的数量和并发情况。
- Glue作业在运行时接受输入值作为参数传递到作业中。AWS Glue的getResolvedOptions函数能可靠地将参数传递到ETL脚本中。
- 您可以使用数据处理单元(DPU)限制运行作业的数量,因此它将运行所需的作业数量。
- 对于编排更复杂的ETL任务图形,您可以查看此文档,它有一种类似于您在要求6中所描述的架构形式: https://docs.aws.amazon.com/glue/latest/dg/orchestrate-using-workflows.html。 此外,您可以像以下示例一样连接作业触发器和CloudWatch通知:https://aws.amazon.com/premiumsupport/knowledge-center/start-glue-job-run-end/。
祝您好运! Ido
관련 콘텐츠
- 질문됨 한 달 전
- AWS 공식업데이트됨 3년 전
- AWS 공식업데이트됨 3년 전
- AWS 공식업데이트됨 3년 전