我们像部署推理到云端,但是访问频次不高,每天几次,每次不到一分钟,请问有何解决方案?

0

我们要做深度学习应用的云部署加上Web界面,要能保持随时访问,但是每天可能只会访问几次,每次一分钟之内,会有什么比较好的解决方案吗?比如说靠Lambda?

profile picture
ESPERTO
posta 2 mesi fa17 visualizzazioni
1 Risposta
0

Lambda可以。如果是已经训练好的模型,直接上云部署,可以考虑把模型放到EFS,在Lambda里面调用。或者封装成docker,用Lambda调用。如果还没训练,可以考虑用SageMaker训练,SageMaker有Serverless的部署方式,类似Lambda。 Lambda没有GPU,部署模型的机器是否需要GPU看您的要求。SageMaker Serverless Inference的话,是不带GPU的。内存需要自己测一下需要多少。

profile picture
ESPERTO
con risposta 2 mesi fa

Accesso non effettuato. Accedi per postare una risposta.

Una buona risposta soddisfa chiaramente la domanda, fornisce un feedback costruttivo e incoraggia la crescita professionale del richiedente.

Linee guida per rispondere alle domande