S3 批量重命名

0

【以下的问题经过翻译处理】 一位客户在一个 S3 存储桶中有 200,000 个没有任何前缀的 csv 文件。

csv 文件从 0kb 到 400mb 不等。他们需要重命名所有文件。

他们使用两个带有 S3 mv 命令的 EC2 来重命名文件,它很慢并且会超时。

有没有更有效的方法?或更好的方法?

profile picture
专家
已提问 5 个月前32 查看次数
1 回答
0

【以下的回答经过翻译处理】 以下是我们可以注意的事情清单:

EC2 实例是否与 s3 存储桶位于同一区域? 默认情况下,s3 CLI 使用 10 个并发请求。要求客户增加它以最大限度地利用网络带宽并尽快完成操作。在此处阅读有关 S3 cli 配置的更多信息:https://docs.aws.amazon.com/cli/latest/topic/s3-config.html

此外,他们是使用 NAT 网关、VPC 端点还是通过公共互联网?如果他们碰巧使用 NAT 实例,请确保 NAT 实例有足够的资源来支持请求/流量。

也可以考虑使用 SDK 重命名文件。例如,Python 具有 copy_from 函数,该函数实质上将重命名文件,并且它们也可以保留大部分元数据:<https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3 .html#S3.Object.copy_from>

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则