SageMaker 管道模式会节约成本吗?

0

【以下的问题经过翻译处理】 SageMaker的管道模式是否作为一种成本节约的措施?还是仅比文件模式更快但通常不会更便宜?它的成本节约可能有两个方面:1.无需将数据复制到训练实例中;2.训练实例需要更少的空间。这些节约对客户来说是否一般都很显著?

profile picture
专家
已提问 1 年前35 查看次数
1 回答
0

【以下的回答经过翻译处理】 据我所知,管道模式可以减少启动时间,但通常会增加费用。

在文件模式中,SageMaker的计费从将数据复制到容器并将控制权转移到用户脚本后开始。

在管道模式中读取数据会在控制权转移后开始,因此数据传输会在计费时间内发生。

此外,据我所知,数据不会撞上磁盘(EBS)。这很快,但也意味着如果您多次通过数据,您必须再次读取它(S3请求和容器等待时间)。

管道模式仍然是一个好主意。例如,如果您只有几遍经过数据,而数据相当大,因此不适合EBS卷。

此外,例如在PyTorch中,数据加载可以并行进行。因此,当GPU对一个批次进行分拣时,CPU加载和准备下一批次的数据。

profile picture
专家
已回答 1 年前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则