如果在Sagemaker中传递环境变量给Sagemaker Tuner Job？

Question

【以下的问题经过翻译处理】 Sagemaker训练任务支持在训练作业中即时设置环境变量：

```
 "环境": { 
      "string" : "string" 
   },

```

我没有找到tunning任务中如何做同样的事情：

根据我的测试，Python SDK中的SagemakerTuner仅忽略传递的估算器中设置的环境变量。

是否有办法以编程方式将环境变量传递给由tuner作业启动的培训作业，或者目前不支持该功能？

Answer

【以下的回答经过翻译处理】 感谢您提出这个问题。是的，正如您所指出的那样，在基础的`CreateHyperparameterTuningJob`API中不支持`Environment`集合，因此当运行调参器时，SageMaker Python SDK无法使用它。

如在[SM Py SDK GitHub问题页面](https://github.com/aws/sagemaker-python-sdk/issues/2934)中讨论的那样，您可以考虑改为使用超参数来通过参数传递给作业。

如果您特别需要环境变量来进行某些其他进程/库，还可以探索通过Python脚本[设置变量](https://stackoverflow.com/a/5971326)（也许是从超参数到环境变量的映射）。

或者另一种选择是自定义您的容器映像以通过[ENV命令](https://docs.docker.com/engine/reference/builder/#env)来导入变量。例如，要自定义现有的AWS Deep Learning容器（框架容器），您可以：

- 使用`sagemaker.image_uris.retrieve(...)`查找给定框架、版本、区域等的基础镜像URI。您需要对此注册表进行[Docker身份验证](https://docs.aws.amazon.com/AmazonECR/latest/userguide/getting-started-cli.html#cli-authenticate-registry)以及您自己的Amazon ECR帐户。
- 创建一个Docker文件，将此基础镜像URI作为参数并从中构建`FROM`。类似于[此示例](https://github.com/aws-samples/amazon-textract-transformer-pipeline/blob/b95b62cd2abd304ee347cacdd3eaf2a76e8b5953/notebooks/custom-containers/train-inf/Dockerfile)
- 添加所需的`ENV`命令以导入您需要的（静态）环境变量
- `docker build`您的自定义容器（将基础镜像URI作为“ --build-arg”传递），将其上传到Amazon ECR

如果在Sagemaker中传递环境变量给Sagemaker Tuner Job？

相關內容