1 réponse
- Le plus récent
- Le plus de votes
- La plupart des commentaires
0
【以下的回答经过翻译处理】 嘿,Dave,
这似乎是使用Glue的完美用例,特别是对于不太大规模的数量和并发情况。
- Glue作业在运行时接受输入值作为参数传递到作业中。AWS Glue的getResolvedOptions函数能可靠地将参数传递到ETL脚本中。
- 您可以使用数据处理单元(DPU)限制运行作业的数量,因此它将运行所需的作业数量。
- 对于编排更复杂的ETL任务图形,您可以查看此文档,它有一种类似于您在要求6中所描述的架构形式: https://docs.aws.amazon.com/glue/latest/dg/orchestrate-using-workflows.html。 此外,您可以像以下示例一样连接作业触发器和CloudWatch通知:https://aws.amazon.com/premiumsupport/knowledge-center/start-glue-job-run-end/。
祝您好运! Ido
Contenus pertinents
- demandé il y a 7 mois
- demandé il y a 6 mois
- demandé il y a 2 ans
- AWS OFFICIELA mis à jour il y a 2 ans
- AWS OFFICIELA mis à jour il y a un mois
- AWS OFFICIELA mis à jour il y a 2 ans
- AWS OFFICIELA mis à jour il y a un an