我们像部署推理到云端,但是访问频次不高,每天几次,每次不到一分钟,请问有何解决方案?

0

我们要做深度学习应用的云部署加上Web界面,要能保持随时访问,但是每天可能只会访问几次,每次一分钟之内,会有什么比较好的解决方案吗?比如说靠Lambda?

profile picture
EXPERTO
preguntada hace 2 meses17 visualizaciones
1 Respuesta
0

Lambda可以。如果是已经训练好的模型,直接上云部署,可以考虑把模型放到EFS,在Lambda里面调用。或者封装成docker,用Lambda调用。如果还没训练,可以考虑用SageMaker训练,SageMaker有Serverless的部署方式,类似Lambda。 Lambda没有GPU,部署模型的机器是否需要GPU看您的要求。SageMaker Serverless Inference的话,是不带GPU的。内存需要自己测一下需要多少。

profile picture
EXPERTO
respondido hace 2 meses

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas