为什么我的 scikit learn 的 plot_learning_curve 在谷歌 VM 上运行不快？

Question

我正在运行一个从 scikit-learn 官网借来的 sn-p 来绘制learning curve

我的代码很简单，如下所示：

import matplotlib.pyplot as plt
from sklearn.model_selection import learning_curve
from sklearn.model_selection import ShuffleSplit
from sklearn.metrics import r2_score
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split


from lightgbm import LGBMRegressor

lgb = LGBMRegressor()
std = StandardScaler()
x = std.fit_transform(df[features])
y = df['total_UPDRS']

title = lgb
cv = ShuffleSplit(n_splits=5, test_size=0.4, random_state=0)
plot_learning_curve(lgb, title, x, y, cv=3, ylim=(0.0, 1.01), n_jobs=16)
plt.show()

我在 16 个 vCPU 和 60GB 内存上运行。这个过程飙升了几分钟，然后它就死了，没有可测量的活动，我不知道设置出了什么问题，因为我可以在我的 Macbook Pro 的本地 Anaconda 安装上输出图表。 （运行只需 10-15 分钟。）我做错了什么？

Answer 1

更新

我能够在 GCE VM 实例和 Google Cloud Datalab 实例中运行下面的代码，并且同时使用 Python 2 和 Python 3。但是，我认为 @987654324 存在一些问题@ 包裹。如果我设置 n_jobs=1 它运行得非常快（不到 1 分钟）。如果我将 n_jobs 设置为 16 或任何可用的内核数量，它会变得非常慢（持续 10-15 分钟）。也许值得在Github Repo 中打开一个问题来了解这一点。

（顺便说一句：看到我没有在 Datalab 中使用 %matplotlib 内联命令，看起来不需要它。）

import matplotlib.pyplot as plt
from sklearn.model_selection import learning_curve
from sklearn.model_selection import ShuffleSplit
from sklearn.metrics import r2_score
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
import pandas as pd
import numpy as np

!pip install lightgbm

from lightgbm import LGBMRegressor

def plot_learning_curve(estimator, title, X, y, ylim=None, cv=None,
                        n_jobs=1, train_sizes=np.linspace(.1, 1.0, 5)):

    plt.figure()
    plt.title(title)
    if ylim is not None:
        plt.ylim(*ylim)
    plt.xlabel("Training examples")
    plt.ylabel("Score")
    train_sizes, train_scores, test_scores = learning_curve(
        estimator, X, y, cv=cv, n_jobs=n_jobs, train_sizes=train_sizes)
    train_scores_mean = np.mean(train_scores, axis=1)
    train_scores_std = np.std(train_scores, axis=1)
    test_scores_mean = np.mean(test_scores, axis=1)
    test_scores_std = np.std(test_scores, axis=1)
    plt.grid()

    plt.fill_between(train_sizes, train_scores_mean - train_scores_std,
                     train_scores_mean + train_scores_std, alpha=0.1,
                     color="r")
    plt.fill_between(train_sizes, test_scores_mean - test_scores_std,
                     test_scores_mean + test_scores_std, alpha=0.1, 
                     color="g")
    plt.plot(train_sizes, train_scores_mean, 'o-', color="r",
             label="Training score")
    plt.plot(train_sizes, test_scores_mean, 'o-', color="g",
             label="Cross-validation score")

    plt.legend(loc="best")
    return plt

df = pd.DataFrame.from_csv(parkinson data from https://archive.ics.uci.edu/ml/datasets/parkinsons)

lgb = LGBMRegressor(min_data=1,random_state=5, n_jobs=1)
std = StandardScaler()
x = std.fit_transform(df[['MDVP:Fo(Hz)','MDVP:Fhi(Hz)']])
y = df['status']

title = lgb
cv = ShuffleSplit(n_splits=5, test_size=0.4, random_state=0)
plt = plot_learning_curve(lgb, title, x, y, cv=3, ylim=(0.0, 1.01), n_jobs=1)
plt.show()

---

如果使用 VM 机器而不使用 Jupyter Notebooks 或类似设备： 在我的情况下，我使用 SSH 来访问机器，所以没有用户界面，所以如果我添加 plt.show() 它不会崩溃，但实际上它没有显示任何内容。为了证明它可以正常工作，我添加了：plt.savefig("filename.png")，而不是 plt.show()，它成功地在我的 .py 文件的同一文件夹中创建了一个 filename.png。

我以这种方式导入 matplotlib（遵循this thread）以避免显示错误：

import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt

此外，在遇到一些错误后，我将 lgb = LGBMRegressor() 更改为以下内容：lgb = LGBMRegressor(min_data=1)（以下错误声称数据集太小）。