无法将模型编译为 Neuron 模型:没有错误消息,也没有输出

0

【以下的问题经过翻译处理】 你好。我们正在尝试将所有内部的 PyTorch 模型转换为在 Inferentia 上的 AWS Neuron 模型。我们成功地转换了一个模型,但是我们尝试的第二个模型无法编译。编译并没有生成任何错误消息或任何类型的日志,所以我们陷入了困境。这是一个相当简单的 U-Net 模型,但是很大,使用部分卷积而不是常规卷积,但除此之外没有其他花哨的运算符。在同一实例上将此模型转换为 torchscript。会不会是内存问题?

profile picture
专家
已提问 8 个月前53 查看次数
1 回答
0

【以下的回答经过翻译处理】 您可以通过将'verbose'传递给跟踪命令来启用跟踪期间的调试,以查看有关错误的更多信息,如下所示:

您好,为了查看有关错误的更多信息,您可以通过将 verbose 传递给跟踪命令启用跟踪期间的调试,如下所示:

import torch
import torch.neuron
torch.neuron.trace(
    model,
    example_inputs=inp,
    verbose="debug",
    compiler_workdir="logs" # dir where debugging logs will be saved
)

您将在控制台中看到错误消息,它们还将保存在“logs”目录中。 始终首先运行 NeuronSDK 分析器,以确保模型是:

    1. torch.jit 可跟踪的
    1. 编译器支持
import torch
import torch.neuron
torch.neuron.analyze_model(model, example_inputs=inp)

您还可以查看一个示例,展示如何将U-net Pytorch()编译为Inf1实例: https://github.com/samir-souza/laboratory/blob/master/05_Inferentia/03_UnetPytorch/03_UnetPytorch.ipynb

您还可以以下示例如何将 U-net Pytorch(第三方实现)编译到 Inf1 实例

参考:https://awsdocs-neuron.readthedocs-hosted.com/en/latest/neuron-guide/neuron-frameworks/pytorch-neuron/api-compilation-python-api.html

如果还是失败,请尝试在日志中查找类似以下内容:

INFO:Neuron:Compile command returned: -11
WARNING:Neuron:torch.neuron.trace failed on _NeuronGraph$647; falling back to native python function call
ERROR:Neuron:neuron-cc failed with the following command line call:

然后将其粘贴到此处。通过“"Compile command returned:” 代码,可以尝试定位问题。您怀疑出现了与内存有关的问题,可能是内存不足。通常在这种情况下,您会在错误的这一部分找到代码:-9。

profile picture
专家
已回答 8 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则