inf2 vs inf1 difference in bert output

0

Hi,

I have some code which generates a shape of torch.Size([1, 512, 1024] when calling bert on inf1. I have compiled the model for inf2. However the same code on inf2 produces a shape of torch.Size([1, 2]) . What could be the issue? Has anyone faced anything similar?

質問済み 1年前297ビュー
1回答
0

This really is not enough information to get going with, please share the test code that produces this result

AWS
回答済み 10ヶ月前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ