Al usar AWS re:Post, aceptas las AWS re:Post Términos de uso

SageMaker 管道模式会节约成本吗?

0

【以下的问题经过翻译处理】 SageMaker的管道模式是否作为一种成本节约的措施?还是仅比文件模式更快但通常不会更便宜?它的成本节约可能有两个方面:1.无需将数据复制到训练实例中;2.训练实例需要更少的空间。这些节约对客户来说是否一般都很显著?

profile picture
EXPERTO
preguntada hace un año35 visualizaciones
1 Respuesta
0

【以下的回答经过翻译处理】 据我所知,管道模式可以减少启动时间,但通常会增加费用。

在文件模式中,SageMaker的计费从将数据复制到容器并将控制权转移到用户脚本后开始。

在管道模式中读取数据会在控制权转移后开始,因此数据传输会在计费时间内发生。

此外,据我所知,数据不会撞上磁盘(EBS)。这很快,但也意味着如果您多次通过数据,您必须再次读取它(S3请求和容器等待时间)。

管道模式仍然是一个好主意。例如,如果您只有几遍经过数据,而数据相当大,因此不适合EBS卷。

此外,例如在PyTorch中,数据加载可以并行进行。因此,当GPU对一个批次进行分拣时,CPU加载和准备下一批次的数据。

profile picture
EXPERTO
respondido hace un año

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas