将本地对象存储迁移到S3 - Snowball + DataSync
【以下的问题经过翻译处理】 客户想要将其带有数据的IPV安装从现有的基础架构迁移到AWS。
现有的存储层依赖于他们自己的对象存储解决方案，该解决方案具有S3兼容的API (https://docs.ceph.com/en/latest/radosgw/s3/)。现在客户希望将70TB的内容与整个IPV套件一起迁移到AWS。
尽管与IPV联系并根据其需求进行了处理，但数据迁移仍未解决。我们已经讨论了DataSync和SnowBall。
DataSync可以支持on prem object store as source并保持元数据完整，并且它可以用于完全迁移，最终定期同步直到切换完成，但使用专用的1Gbit / s连接移动70TB需要8-9天。我认为他还需要购买Direct Connect来确保达到预期速度。
然而，我更倾向于为客户提供SnowBall以进行初始的大容量移动，然后使用DataSync以后保持数据同步。SnowBall允许复制on-prem对象存储及其元数据并将其移动到S3吗？
- 최신
- 최다 투표
- 가장 많은 댓글
【以下的回答经过翻译处理】 关于从本地Ceph将数据转移到AWS，需要考虑以下几点：
（1）这是哪个版本/发行版的Ceph？
（2）你是想从rbd、rgw和cephfs转移数据，还是只需要rgw？
（3）你可以使用DataSync从rgw传输数据，但如果你有一个必须满足的时间表，需要有一个相当不错的连接来迁移70TB的数据。
（4）你可以使用Snowball Edge将数据从Ceph传输到Snowball进行大规模迁移，但如果你使用S3进行数据传输，它将无法保留元数据（如果使用文件接口/NFS，则可以保留POSIX元数据，但速度会比使用S3端点慢得多）。使用此方法后，你可以在数据导入到S3后使用DataSync同步元数据和任何更新。注意：Snowball Edge上的S3支持S3 API/CLI的子集，因此需要进行测试。
관련 콘텐츠
AWS 공식업데이트됨 2년 전- AWS 공식업데이트됨 3년 전
- AWS 공식업데이트됨 3년 전