使用Redshift Spectrum查询Redshift表和S3文件。

0

【以下的问题经过翻译处理】 从s3中接收外部数据(大约每天一个100Mb的文件)。他们需要用来自Redshift表和s3文件的数据生成报告。他们想知道是否可以通过Redshift Spectrum同时查询Redshift表和s3文件,而无需将s3文件加载到Redshift中。如果可以,这是最佳实践吗?有哪些优缺点?

profile picture
EXPERT
asked 5 months ago23 views
1 Answer
0

【以下的回答经过翻译处理】 可以查询并连接来自Redshift集群和S3的数据。 Redshift Spectrum表允许您在S3中查询数据。 使用Redshift Spectrum进行查询

优点:

  • 在原地查询数据可以节省成本。数据集越不经常访问且越大,则在Spectrum中使用数据集的选择越经济。
  • 灵活性。在原地查询数据还意味着可以轻松地让S3中的数据对其他应用程序(例如ML或使用EMR的大数据处理)可访问,而无需与DW集成,使DW执行其应该执行的工作,即报告。

缺点:

  • 成本 less可预测,因为Spectrum查询的成本高于Redshift集群-目前为每TB扫描的5美元。
  • Spectrum可能比其他解决方案(例如Athena或Redshift)慢。
profile picture
EXPERT
answered 5 months ago

You are not logged in. Log in to post an answer.

A good answer clearly answers the question and provides constructive feedback and encourages professional growth in the question asker.

Guidelines for Answering Questions