1 Answer
- Newest
- Most votes
- Most comments
0
【以下的回答经过翻译处理】 据我所知,管道模式可以减少启动时间,但通常会增加费用。
在文件模式中,SageMaker的计费从将数据复制到容器并将控制权转移到用户脚本后开始。
在管道模式中读取数据会在控制权转移后开始,因此数据传输会在计费时间内发生。
此外,据我所知,数据不会撞上磁盘(EBS)。这很快,但也意味着如果您多次通过数据,您必须再次读取它(S3请求和容器等待时间)。
管道模式仍然是一个好主意。例如,如果您只有几遍经过数据,而数据相当大,因此不适合EBS卷。
此外,例如在PyTorch中,数据加载可以并行进行。因此,当GPU对一个批次进行分拣时,CPU加载和准备下一批次的数据。
Relevant content
- asked a month ago
- asked 2 years ago
- Accepted Answerasked a year ago
- AWS OFFICIALUpdated 4 months ago
- AWS OFFICIALUpdated 2 years ago
- AWS OFFICIALUpdated 4 months ago
- AWS OFFICIALUpdated 2 years ago