Talend 到 Glue 的迁移

Question

【以下的问题经过翻译处理】 客户使用 Talend 进行 ETL，使用 Postgres 进行 DWH。他们希望将 ETL 工作负载迁移到 Glue ETL，将 DWH 放在 Redshift 上。他们想知道如何在AWS Glue中实现以下场景：

1. 在 Glue 作业中从 MS Excel 中提取数据进行进一步处理。
2. 从 SharePoint 中提取数据。目前，他们在 SharePoint 和 Talend 之间使用Apigee。
3. 数据血缘
4. 当作业完成或失败时，向管理员发送已处理/已拒绝的作业数量的电子邮件。

请提供关于如何在 Glue 中实现上述场景的信息。任何关于 Talend 到 Glue 迁移相关的参考信息都将非常有帮助。谢谢。

rePost Polyglot · Answer

【以下的回答经过翻译处理】 这似乎是一个相对轻量级的使用情况，在这种情况下，这可以在纯 Python 库和 Python Glue Shell 实现。

1. 使用 Python 的 Excel 库从 Excel 文件中提取/处理数据。
2. 使用 Python 的 REST API 提取 Sharepoint 数据。
3. 添加列以跟踪数据源的数据传承。
4. 在处理后获取处理计数并将数据通过 SNS 发送。

相关内容