1 Risposta
- Più recenti
- Maggior numero di voti
- Maggior numero di commenti
0
【以下的回答经过翻译处理】 嘿,Dave,
这似乎是使用Glue的完美用例,特别是对于不太大规模的数量和并发情况。
- Glue作业在运行时接受输入值作为参数传递到作业中。AWS Glue的getResolvedOptions函数能可靠地将参数传递到ETL脚本中。
- 您可以使用数据处理单元(DPU)限制运行作业的数量,因此它将运行所需的作业数量。
- 对于编排更复杂的ETL任务图形,您可以查看此文档,它有一种类似于您在要求6中所描述的架构形式: https://docs.aws.amazon.com/glue/latest/dg/orchestrate-using-workflows.html。 此外,您可以像以下示例一样连接作业触发器和CloudWatch通知:https://aws.amazon.com/premiumsupport/knowledge-center/start-glue-job-run-end/。
祝您好运! Ido
Contenuto pertinente
- AWS UFFICIALEAggiornata 2 anni fa
- Come posso risolvere gli errori di connessione di Marketplace AWS nei miei processi ETL in AWS Glue?AWS UFFICIALEAggiornata 10 mesi fa
- AWS UFFICIALEAggiornata un mese fa
- AWS UFFICIALEAggiornata un anno fa