从REST API中提取数据并存储到Redshift中。

0

【以下的问题经过翻译处理】 我们有一个场景,需要使用REST API接口从外部系统检索数据并将其存储到Redshift中。预计数据量非常小,处理需要按周期运行,每天运行一次。

对于这种情况,推荐使用什么工具和架构?

谢谢!

profile picture
EXPERTE
gefragt vor 5 Monaten9 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 您好,

我建议您采用以下方式:

  • 使用EventBridge Scheduler并将其与一个在VPC中的lambda函数关联起来。
  • 如果您的第三方数据不需要花费几分钟才能找到,则建议您使用您喜欢的编程语言的lambda函数。由于Redshift集群需要在VPC中,因此您需要在公共子网中提供一个NAT网关,以便您可以通过互联网调用API。
  • 如果是同一lambda函数,则可以向Redshift执行语句。以下是Python示例:https://github.com/aws-samples/aws-lambda-redshift-event-driven-app/blob/main/LambdaRedshiftDataApiETL.py

如果您想要分开使用lambda函数检索数据和将数据存储到Redshift中,则可以考虑使用step function 并包含 2个 states,每个state对应1个lambda函数(检索数据和将数据存储到Redshift中)。

此链接包含了您正在尝试完成的一部分:https://aws.amazon.com/blogs/big-data/building-an-event-driven-application-with-aws-lambda-and-the-amazon-redshift-data-api/

希望能帮到您;)

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen