如何在N个Greengrass设备上部署N个模型,同时使用唯一的Lambda进行推理逻辑?

0

【以下的问题经过翻译处理】 我们正在考虑一下在Greengrass管理设备上进行机器学习边缘推断的用例。模型对于每个设备都是独特的,但是其架构和调用逻辑对于所有设备都是相同的。换句话说,相同的调用Lambda可以用于所有设备,只需要在设备之间更改模型参数即可。我们想要向所有设备部署一个独特的推断Lambda,并向每个设备加载特定于设备的工件。

带有Greengrass ML Inference的这种情况是否可以实现?似乎GG MLI要求每个模型都与特定的Lambda关联。

否则,推荐的模式是在Lambda中进行自我管理的推断吗?例如,通过从S3加载特定模型、唯一本地配置文件或某些环境变量加载。

profile picture
ESPECIALISTA
feita há 6 meses41 visualizações
1 Resposta
0

【以下的回答经过翻译处理】 在IoT Greengrass 1.x中,配置是针对每个Greengrass Group独特的。这包括连接器,Lambdas和ML资源。

同一个Lambda可以作为Greengrass函数被多个组引用,这可能是您想要的。这类似于使用GG ML连接器(对象检测或图像分类)之一。

除了推理代码,您还需要配置一个ML资源,它有一个本地名称和一个远程模型。本地名称对于所有Greengrass Groups都相同,但在每个组中,您将引用不同的远程对象(模型)- S3或SageMaker作业。

每当模型更改时,您需要重新部署相应的Greengrass组以在本地部署更改。

profile picture
ESPECIALISTA
respondido há 6 meses

Você não está conectado. Fazer login para postar uma resposta.

Uma boa resposta responde claramente à pergunta, dá feedback construtivo e incentiva o crescimento profissional de quem perguntou.

Diretrizes para responder a perguntas