从REST API中提取数据并存储到Redshift中。
0
【以下的问题经过翻译处理】 我们有一个场景，需要使用REST API接口从外部系统检索数据并将其存储到Redshift中。预计数据量非常小，处理需要按周期运行，每天运行一次。
对于这种情况，推荐使用什么工具和架构？
谢谢！
1개 답변
- 최신
- 최다 투표
- 가장 많은 댓글
0
【以下的回答经过翻译处理】 您好，
我建议您采用以下方式：
- 使用EventBridge Scheduler并将其与一个在VPC中的lambda函数关联起来。
- 如果您的第三方数据不需要花费几分钟才能找到，则建议您使用您喜欢的编程语言的lambda函数。由于Redshift集群需要在VPC中，因此您需要在公共子网中提供一个NAT网关，以便您可以通过互联网调用API。
- 如果是同一lambda函数，则可以向Redshift执行语句。以下是Python示例：https://github.com/aws-samples/aws-lambda-redshift-event-driven-app/blob/main/LambdaRedshiftDataApiETL.py。
如果您想要分开使用lambda函数检索数据和将数据存储到Redshift中，则可以考虑使用step function 并包含 2个 states，每个state对应1个lambda函数（检索数据和将数据存储到Redshift中）。
此链接包含了您正在尝试完成的一部分：https://aws.amazon.com/blogs/big-data/building-an-event-driven-application-with-aws-lambda-and-the-amazon-redshift-data-api/
希望能帮到您；)