Durch die Nutzung von AWS re:Post stimmt du den AWS re:Post Nutzungsbedingungen

SageMaker 管道模式会节约成本吗?

0

【以下的问题经过翻译处理】 SageMaker的管道模式是否作为一种成本节约的措施?还是仅比文件模式更快但通常不会更便宜?它的成本节约可能有两个方面:1.无需将数据复制到训练实例中;2.训练实例需要更少的空间。这些节约对客户来说是否一般都很显著?

profile picture
EXPERTE
gefragt vor einem Jahr35 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 据我所知,管道模式可以减少启动时间,但通常会增加费用。

在文件模式中,SageMaker的计费从将数据复制到容器并将控制权转移到用户脚本后开始。

在管道模式中读取数据会在控制权转移后开始,因此数据传输会在计费时间内发生。

此外,据我所知,数据不会撞上磁盘(EBS)。这很快,但也意味着如果您多次通过数据,您必须再次读取它(S3请求和容器等待时间)。

管道模式仍然是一个好主意。例如,如果您只有几遍经过数据,而数据相当大,因此不适合EBS卷。

此外,例如在PyTorch中,数据加载可以并行进行。因此,当GPU对一个批次进行分拣时,CPU加载和准备下一批次的数据。

profile picture
EXPERTE
beantwortet vor einem Jahr

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen