inf2 vs inf1 difference in bert output

0

Hi,

I have some code which generates a shape of torch.Size([1, 512, 1024] when calling bert on inf1. I have compiled the model for inf2. However the same code on inf2 produces a shape of torch.Size([1, 2]) . What could be the issue? Has anyone faced anything similar?

Themen

Maschinelles Lernen & KI Kalkulation

Tags

AWS Inferentia AWS Neuron

Sprache

English

rePost-User-6132983

gefragt vor einem Jahr297 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Sind diese Antworten hilfreich? Stimmen Sie der richtigen Antwort zu, damit die Community von Ihrem Wissen profitieren kann.

0

This really is not enough information to get going with, please share the test code that produces this result

beantwortet vor 10 Monaten

Relevanter Inhalt

Wie kann ich den Fehler „You have exceeded the allowed number of AWS accounts.“ (Sie haben die zulässige Anzahl von AWS-Konten überschritten.) für AWS-Organisationen beheben?
AWS OFFICIALAktualisiert vor einem Jahr
Wie löse ich zirkuläre Abhängigkeiten mit AWS Serverless Application Model (SAM) -Vorlagen in CloudFormation?
AWS OFFICIALAktualisiert vor 3 Jahren
Wie kann ich den Fehler “Lambda does not have permission to access the ECR image...” (Lambda hat keine Berechtigung, auf das ECR-Image zuzugreifen...) für eine Lambda-Funktion mit einem Container-Image beheben?
AWS OFFICIALAktualisiert vor einem Jahr
Wie behebe ich den Fehler „The specified queue does not exist or you do not have access to it.“, wenn ich einen AWS Glue Job ausführe, um Nachrichten an Amazon SQS in einer anderen Region zu senden?
AWS OFFICIALAktualisiert vor 3 Jahren