1 Respuesta
- Más nuevo
- Más votos
- Más comentarios
0
【以下的回答经过翻译处理】 嘿,Dave,
这似乎是使用Glue的完美用例,特别是对于不太大规模的数量和并发情况。
- Glue作业在运行时接受输入值作为参数传递到作业中。AWS Glue的getResolvedOptions函数能可靠地将参数传递到ETL脚本中。
- 您可以使用数据处理单元(DPU)限制运行作业的数量,因此它将运行所需的作业数量。
- 对于编排更复杂的ETL任务图形,您可以查看此文档,它有一种类似于您在要求6中所描述的架构形式: https://docs.aws.amazon.com/glue/latest/dg/orchestrate-using-workflows.html。 此外,您可以像以下示例一样连接作业触发器和CloudWatch通知:https://aws.amazon.com/premiumsupport/knowledge-center/start-glue-job-run-end/。
祝您好运! Ido
Contenido relevante
- OFICIAL DE AWSActualizada hace un mes
- OFICIAL DE AWSActualizada hace 2 meses
- ¿Cómo puedo resolver el error «No queda espacio en el dispositivo» en un trabajo de ETL de AWS Glue?OFICIAL DE AWSActualizada hace 2 años
- OFICIAL DE AWSActualizada hace 2 años