1개 답변
- 최신
- 최다 투표
- 가장 많은 댓글
0
【以下的回答经过翻译处理】 你好,
是的。您说得对,分桶表尚不支持 INSERT INTO。对于您想要指定存储桶数量/文件大小的用例,使用 Athena 存储桶是合适的,但缺点是无法使用 INSERT INTO 插入新的传入数据。
但是,我可以建议在 AWS EMR 上使用 S3distcp 实用程序将小文件合并为 ~128MB 大小,以解决您的小文件问题。您可以使用它将较小的文件组合成较大的对象。您还可以使用 S3DistCP 以优化的方式将大量数据从 HDFS 移动到 Amazon S3、从 Amazon S3 到 Amazon S3,以及从 Amazon S3 到 HDFS。
参考:
https://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html
관련 콘텐츠
- 질문됨 2달 전
- AWS 공식업데이트됨 3년 전
- AWS 공식업데이트됨 2년 전