在PIPE模式下使用S3 shard key的困惑

Question

【以下的问题经过翻译处理】 你好，

我对使用 PIPE 模式时 S3 Shard key是否有效感到有点困惑，这是一个例子：

假设我有：

2个实例，每个实例有4个worker；

数据：共8个文件，总大小8GB，每个文件1GB。将它们放入4个不同的S3路径，也就是说，每个路径有2个文件（总共2GB）

如果我使用 PIPE 模式，并且 s3\_input 使用 distribution='ShardedByS3Key'，并创建 4 个通道（每个通道映射一个 s3 路径，2 个文件）

train\_s3\_input\_1 = sagemaker.inputs.s3\_input(channel\_1, distribution='ShardedByS3Key')

问题：

每个worker有多少数据要训练，1 个文件还是 2 个文件？谢谢

rePost Polyglot · Answer

【以下的回答经过翻译处理】 您好，
当您指定 *ShardedByS3Key* 时，SageMaker会在每个为模型训练启动的机器学习计算实例上复制数据的子集（1 / n个机器学习计算实例）。如果有n个机器学习计算实例用于训练作业，那么每个实例大约会获取S3对象数量的1 / n。这适用于文件和管道模式。开发算法时请牢记这一点。

回答您的问题：
每个worker可以获得多少数据进行训练，一个文件还是两个文件？每个worker获得1个文件。

在PIPE模式下使用S3 shard key的困惑

相关内容