AWS re:Postを使用することにより、以下に同意したことになります AWS re:Post 利用規約

SageMaker 管道模式会节约成本吗?

0

【以下的问题经过翻译处理】 SageMaker的管道模式是否作为一种成本节约的措施?还是仅比文件模式更快但通常不会更便宜?它的成本节约可能有两个方面:1.无需将数据复制到训练实例中;2.训练实例需要更少的空间。这些节约对客户来说是否一般都很显著?

profile picture
エキスパート
質問済み 1年前35ビュー
1回答
0

【以下的回答经过翻译处理】 据我所知,管道模式可以减少启动时间,但通常会增加费用。

在文件模式中,SageMaker的计费从将数据复制到容器并将控制权转移到用户脚本后开始。

在管道模式中读取数据会在控制权转移后开始,因此数据传输会在计费时间内发生。

此外,据我所知,数据不会撞上磁盘(EBS)。这很快,但也意味着如果您多次通过数据,您必须再次读取它(S3请求和容器等待时间)。

管道模式仍然是一个好主意。例如,如果您只有几遍经过数据,而数据相当大,因此不适合EBS卷。

此外,例如在PyTorch中,数据加载可以并行进行。因此,当GPU对一个批次进行分拣时,CPU加载和准备下一批次的数据。

profile picture
エキスパート
回答済み 1年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン