使用Redshift Spectrum查询Redshift表和S3文件。

0

【以下的问题经过翻译处理】 从s3中接收外部数据(大约每天一个100Mb的文件)。他们需要用来自Redshift表和s3文件的数据生成报告。他们想知道是否可以通过Redshift Spectrum同时查询Redshift表和s3文件,而无需将s3文件加载到Redshift中。如果可以,这是最佳实践吗?有哪些优缺点?

profile picture
专家
已提问 6 个月前27 查看次数
1 回答
0

【以下的回答经过翻译处理】 可以查询并连接来自Redshift集群和S3的数据。 Redshift Spectrum表允许您在S3中查询数据。 使用Redshift Spectrum进行查询

优点:

  • 在原地查询数据可以节省成本。数据集越不经常访问且越大,则在Spectrum中使用数据集的选择越经济。
  • 灵活性。在原地查询数据还意味着可以轻松地让S3中的数据对其他应用程序(例如ML或使用EMR的大数据处理)可访问,而无需与DW集成,使DW执行其应该执行的工作,即报告。

缺点:

  • 成本 less可预测,因为Spectrum查询的成本高于Redshift集群-目前为每TB扫描的5美元。
  • Spectrum可能比其他解决方案(例如Athena或Redshift)慢。
profile picture
专家
已回答 6 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则