inf2 vs inf1 difference in bert output

0

Hi,

I have some code which generates a shape of torch.Size([1, 512, 1024] when calling bert on inf1. I have compiled the model for inf2. However the same code on inf2 produces a shape of torch.Size([1, 2]) . What could be the issue? Has anyone faced anything similar?

Tópicos

Machine Learning e IA Computação

Tags

AWS Inferentia AWS Neuron

Idioma

English

rePost-User-6132983

feita há um ano297 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Essas respostas são úteis? Vote a favor da resposta correta para ajudar a comunidade a se beneficiar de seu conhecimento.

0

This really is not enough information to get going with, please share the test code that produces this result

respondido há 10 meses

Conteúdo relevante

Como soluciono o erro “The security token included in the request is expired” (O token de segurança incluído na solicitação está expirado) ao executar aplicações Java no Amazon EC2?
AWS OFICIALAtualizada há 2 anos
Como resolvo dependências circulares com modelos do AWS Serverless Application Model (SAM) no CloudFormation?
AWS OFICIALAtualizada há 3 anos
Como posso solucionar o erro “Lambda does not have permission to access the ECR image...” (O Lambda não tem permissão para acessar a imagem do ECR) para uma função do Lambda com uma imagem de contêiner?
AWS OFICIALAtualizada há um ano
Como posso resolver o erro “You have exceeded the allowed number of AWS accounts” (Você excedeu o número permitido de contas da AWS) para o AWS Organizations?
AWS OFICIALAtualizada há um ano