从REST API中提取数据并存储到Redshift中。

0

【以下的问题经过翻译处理】 我们有一个场景,需要使用REST API接口从外部系统检索数据并将其存储到Redshift中。预计数据量非常小,处理需要按周期运行,每天运行一次。

对于这种情况,推荐使用什么工具和架构?

谢谢!

profile picture
专家
已提问 5 个月前6 查看次数
1 回答
0

【以下的回答经过翻译处理】 您好,

我建议您采用以下方式:

  • 使用EventBridge Scheduler并将其与一个在VPC中的lambda函数关联起来。
  • 如果您的第三方数据不需要花费几分钟才能找到,则建议您使用您喜欢的编程语言的lambda函数。由于Redshift集群需要在VPC中,因此您需要在公共子网中提供一个NAT网关,以便您可以通过互联网调用API。
  • 如果是同一lambda函数,则可以向Redshift执行语句。以下是Python示例:https://github.com/aws-samples/aws-lambda-redshift-event-driven-app/blob/main/LambdaRedshiftDataApiETL.py

如果您想要分开使用lambda函数检索数据和将数据存储到Redshift中,则可以考虑使用step function 并包含 2个 states,每个state对应1个lambda函数(检索数据和将数据存储到Redshift中)。

此链接包含了您正在尝试完成的一部分:https://aws.amazon.com/blogs/big-data/building-an-event-driven-application-with-aws-lambda-and-the-amazon-redshift-data-api/

希望能帮到您;)

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则