无法将模型编译为 Neuron 模型:没有错误消息,也没有输出

0

【以下的问题经过翻译处理】 你好。我们正在尝试将所有内部的 PyTorch 模型转换为在 Inferentia 上的 AWS Neuron 模型。我们成功地转换了一个模型,但是我们尝试的第二个模型无法编译。编译并没有生成任何错误消息或任何类型的日志,所以我们陷入了困境。这是一个相当简单的 U-Net 模型,但是很大,使用部分卷积而不是常规卷积,但除此之外没有其他花哨的运算符。在同一实例上将此模型转换为 torchscript。会不会是内存问题?

profile picture
EXPERTE
gefragt vor 8 Monaten56 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 您可以通过将'verbose'传递给跟踪命令来启用跟踪期间的调试,以查看有关错误的更多信息,如下所示:

您好,为了查看有关错误的更多信息,您可以通过将 verbose 传递给跟踪命令启用跟踪期间的调试,如下所示:

import torch
import torch.neuron
torch.neuron.trace(
    model,
    example_inputs=inp,
    verbose="debug",
    compiler_workdir="logs" # dir where debugging logs will be saved
)

您将在控制台中看到错误消息,它们还将保存在“logs”目录中。 始终首先运行 NeuronSDK 分析器,以确保模型是:

    1. torch.jit 可跟踪的
    1. 编译器支持
import torch
import torch.neuron
torch.neuron.analyze_model(model, example_inputs=inp)

您还可以查看一个示例,展示如何将U-net Pytorch()编译为Inf1实例: https://github.com/samir-souza/laboratory/blob/master/05_Inferentia/03_UnetPytorch/03_UnetPytorch.ipynb

您还可以以下示例如何将 U-net Pytorch(第三方实现)编译到 Inf1 实例

参考:https://awsdocs-neuron.readthedocs-hosted.com/en/latest/neuron-guide/neuron-frameworks/pytorch-neuron/api-compilation-python-api.html

如果还是失败,请尝试在日志中查找类似以下内容:

INFO:Neuron:Compile command returned: -11
WARNING:Neuron:torch.neuron.trace failed on _NeuronGraph$647; falling back to native python function call
ERROR:Neuron:neuron-cc failed with the following command line call:

然后将其粘贴到此处。通过“"Compile command returned:” 代码,可以尝试定位问题。您怀疑出现了与内存有关的问题,可能是内存不足。通常在这种情况下,您会在错误的这一部分找到代码:-9。

profile picture
EXPERTE
beantwortet vor 8 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen