inf2 vs inf1 difference in bert output

0

Hi,

I have some code which generates a shape of torch.Size([1, 512, 1024] when calling bert on inf1. I have compiled the model for inf2. However the same code on inf2 produces a shape of torch.Size([1, 2]) . What could be the issue? Has anyone faced anything similar?

Argomenti

Apprendimento automatico e intelligenza artificiale Computazionali

Tag

AWS Inferentia AWS Neuron

Lingua

English

rePost-User-6132983

posta un anno fa297 visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Queste risposte sono utili? Dai un voto positivo alla risposta corretta per aiutare la community a trarre vantaggio dalle tue conoscenze.

0

This really is not enough information to get going with, please share the test code that produces this result

con risposta 10 mesi fa

Contenuto pertinente

Come posso risolvere l'errore "Your current user or role does not have access to Kubernetes objects on this EKS cluster" in Amazon EKS?
AWS UFFICIALEAggiornata un anno fa
Come posso risolvere l'errore "An error occurred (TargetNotConnectedException) when calling the ExecuteCommand operation" ("Si è verificato un errore (TargetNotConnectedException) durante la chiamata dell'operazione ExecuteCommand") in Amazon ECS?
AWS UFFICIALEAggiornata 2 anni fa
Come posso risolvere le dipendenze circolari con i modelli AWS Serverless Application Model (SAM) in CloudFormation?
AWS UFFICIALEAggiornata 3 anni fa
How do I access a private API Gateway API when the VPC endpoint uses an on-premises DNS?
AWS UFFICIALEAggiornata 3 anni fa