1 Respuesta
- Más nuevo
- Más votos
- Más comentarios
0
【以下的回答经过翻译处理】 你好,
是的。您说得对,分桶表尚不支持 INSERT INTO。对于您想要指定存储桶数量/文件大小的用例,使用 Athena 存储桶是合适的,但缺点是无法使用 INSERT INTO 插入新的传入数据。
但是,我可以建议在 AWS EMR 上使用 S3distcp 实用程序将小文件合并为 ~128MB 大小,以解决您的小文件问题。您可以使用它将较小的文件组合成较大的对象。您还可以使用 S3DistCP 以优化的方式将大量数据从 HDFS 移动到 Amazon S3、从 Amazon S3 到 Amazon S3,以及从 Amazon S3 到 HDFS。
参考:
https://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html
Contenido relevante
- OFICIAL DE AWSActualizada hace 2 años
- OFICIAL DE AWSActualizada hace 3 años
- ¿Cómo puedo solucionar el error «GENERIC_INTERNAL_ERROR» cuando consulto una tabla en Amazon Athena?OFICIAL DE AWSActualizada hace un año