S3 批量重命名

0

【以下的问题经过翻译处理】 一位客户在一个 S3 存储桶中有 200,000 个没有任何前缀的 csv 文件。

csv 文件从 0kb 到 400mb 不等。他们需要重命名所有文件。

他们使用两个带有 S3 mv 命令的 EC2 来重命名文件,它很慢并且会超时。

有没有更有效的方法?或更好的方法?

profile picture
專家
已提問 6 個月前檢視次數 35 次
1 個回答
0

【以下的回答经过翻译处理】 以下是我们可以注意的事情清单:

EC2 实例是否与 s3 存储桶位于同一区域? 默认情况下,s3 CLI 使用 10 个并发请求。要求客户增加它以最大限度地利用网络带宽并尽快完成操作。在此处阅读有关 S3 cli 配置的更多信息:https://docs.aws.amazon.com/cli/latest/topic/s3-config.html

此外,他们是使用 NAT 网关、VPC 端点还是通过公共互联网?如果他们碰巧使用 NAT 实例,请确保 NAT 实例有足够的资源来支持请求/流量。

也可以考虑使用 SDK 重命名文件。例如,Python 具有 copy_from 函数,该函数实质上将重命名文件,并且它们也可以保留大部分元数据:<https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3 .html#S3.Object.copy_from>

profile picture
專家
已回答 6 個月前

您尚未登入。 登入 去張貼答案。

一個好的回答可以清楚地回答問題並提供建設性的意見回饋,同時有助於提問者的專業成長。

回答問題指南