使用Redshift Spectrum查询Redshift表和S3文件。

0

【以下的问题经过翻译处理】 从s3中接收外部数据(大约每天一个100Mb的文件)。他们需要用来自Redshift表和s3文件的数据生成报告。他们想知道是否可以通过Redshift Spectrum同时查询Redshift表和s3文件,而无需将s3文件加载到Redshift中。如果可以,这是最佳实践吗?有哪些优缺点?

profile picture
EXPERTE
gefragt vor 5 Monaten23 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 可以查询并连接来自Redshift集群和S3的数据。 Redshift Spectrum表允许您在S3中查询数据。 使用Redshift Spectrum进行查询

优点:

  • 在原地查询数据可以节省成本。数据集越不经常访问且越大,则在Spectrum中使用数据集的选择越经济。
  • 灵活性。在原地查询数据还意味着可以轻松地让S3中的数据对其他应用程序(例如ML或使用EMR的大数据处理)可访问,而无需与DW集成,使DW执行其应该执行的工作,即报告。

缺点:

  • 成本 less可预测,因为Spectrum查询的成本高于Redshift集群-目前为每TB扫描的5美元。
  • Spectrum可能比其他解决方案(例如Athena或Redshift)慢。
profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen