在 Azure ML 中将本地计算与 Estimator 结合使用答案

【问题标题】：Using local compute with an Estimator in Azure ML在 Azure ML 中将本地计算与 Estimator 结合使用
【发布时间】：2019-02-19 12:27:01
【问题描述】：

TensorFlow 估计器是否可以使用本地计算？为训练运行配置虚拟机需要大量时间，我希望能够在本地尝试几次运行，直到我的配置稳定为止。

https://github.com/MicrosoftDocs/azure-docs/blob/master/articles/machine-learning/service/how-to-train-tensorflow.md

可以通过创建一个空的 RunConfiguration 来使用 ScriptRunConfig 执行此操作。该文档声称可以创建本地 ComputeTarget，但缺少有关如何执行此操作的文档：

https://github.com/MicrosoftDocs/azure-docs/blob/master/articles/machine-learning/service/how-to-set-up-training-targets.md#local

本地计算机

创建和附加：无需创建或附加计算目标即可将本地计算机用作训练环境。

配置：当您使用本地计算机作为计算目标时，训练代码将在您的开发环境中运行。如果该环境已经有您需要的 Python 包，请使用用户管理的环境。

[!code-python]

【问题讨论】：

标签： azure tensorflow azure-machine-learning-studio

【解决方案1】：

我会直接使用Microsoft docs，而不是 GitHub 原始页面 - 我注意到后者有时不完整和/或已过时。

正如您所怀疑的，docs 确认您应该创建一个空的 RunConfiguration，类似于以下代码（取自上述链接）：

from azureml.core.runconfig import RunConfiguration

# Edit a run configuration property on the fly.
run_local = RunConfiguration()

run_local.environment.python.user_managed_dependencies = True

【讨论】：

对我来说（Mac OS 10.15.5）这没有解决......日志提到了一些关于 Docker 丢失的内容（“在目标上找不到 Docker，请检查它是否已安装并且在路径上。”），所以我安装（并启动）Docker Desktop，它工作正常。然后我停止了 Docker，实验再次失败 - 所以我很确定至少在我的情况下，我必须让 Docker 进程在本地运行才能在本地运行 Estimator 实验。

【解决方案2】：

使用 compute_target="local"。改编自Microsoft docs

script_params = {
    '--num_epochs': 30,
    '--output_dir': './outputs'
}

estimator = PyTorch(source_directory=project_folder, 
                    script_params=script_params,
                    # compute_target=compute_target,
                    compute_target='local',
                    entry_script='pytorch_train.py',
                    use_gpu=True,
                    pip_packages=['pillow==5.4.1'])

【讨论】：