ML.NET 绘制 K 均值聚类结果？

Question

我正在一个无监督的集群场景中试验 ML.NET。我的起始数据少于 30 条记录，TSV 文件中有 5 个特征，例如（当然标签会被忽略）：

Label   S1   S2   S3   S4   S5
alpha   0.274167987321712   0.483359746434231   0.0855784469096672   0.297939778129952   0.0332805071315372
beta   0.378208470054279   0.405409549510871   0.162317151706584   0.292342604802355   0.0551994848048085
...

我的起点是iris tutorial，这是 K-means 聚类的一个样本。就我而言，我想要 3 个集群。正如我刚刚学习的那样，一旦创建了模型，我想用它来将聚类数据添加到原始文件副本中的每条记录中，这样我就可以检查它们并绘制散点图。

我从这个训练代码开始（比如MyModel 是代表其模型的 POCO 类，具有S1-S5 的属性）：

// load data
MLContext mlContext = new MLContext(seed: 0);
IDataView dataView = mlContext.Data.LoadFromTextFile<MyModel>
    (dataPath, hasHeader: true, separatorChar: '\t');

// train model
const string featuresColumnName = "Features";
EstimatorChain<ClusteringPredictionTransformer<KMeansModelParameters>>
    pipeline = mlContext.Transforms
    .Concatenate(featuresColumnName, "S1", "S2", "S3", "S4", "S5")
    .Append(mlContext.Clustering.Trainers.KMeans(featuresColumnName,
    numberOfClusters: 3));

TransformerChain<ClusteringPredictionTransformer<KMeansModelParameters>>
    model = pipeline.Fit(dataView);

// save model
using (FileStream fileStream = new FileStream(modelPath,
    FileMode.Create, FileAccess.Write, FileShare.Write))
{
    mlContext.Model.Save(model, dataView.Schema, fileStream);
}

然后，我加载保存的模型，从原始数据中读取每条记录，并获取其集群 ID。这听起来有点令人费解，但我在这里的学习意图是检查结果，然后再玩它们。结果应与质心坐标和点坐标一起保存在一个新文件中。

然而，这个 API 似乎不够透明，无法轻松访问质心；我只找到了一个post，它相当旧，并且它的代码不再编译。我宁愿用它作为通过反射恢复数据的提示，但这是一个 hack。

另外，我不确定框架提供的数据的细节。我可以看到每个质心都有 3 个向量（在示例代码中名为 cx cy cz），每个向量都有 5 个元素（我假设这 5 个特征按照它们的串联输入顺序，即从 S1 到 S5） ;此外，每个预测提供 3 倍距离（dxdydz）。如果这些假设没问题，我可以像这样为每条记录分配一个集群 ID：

// for each record in the original data
foreach (MyModel record in csvReader.GetRecords<MyModel>())
{
    // get its cluster ID
    MyPrediction prediction = predictor.Predict(record);

    // get the centroids just once, as of course they are the same
    // for all the records referring their distances to them
    if (cx == null)
    {
        // get centroids (via reflection...):
        // https://github.com/dotnet/machinelearning/blob/master/docs/samples/Microsoft.ML.Samples/Dynamic/Trainers/Clustering/KMeansWithOptions.cs#L49
        // https://social.msdn.microsoft.com/Forums/azure/en-US/c09171c0-d9c8-4426-83a9-36ed72a32fe7/kmeans-output-centroids-and-cluster-size?forum=MachineLearning
        VBuffer<float>[] centroids = default;
        var last = ((TransformerChain<ITransformer>)model)
            .LastTransformer;
        KMeansModelParameters kparams = (KMeansModelParameters)
            last.GetType().GetProperty("Model").GetValue(last);
        kparams.GetClusterCentroids(ref centroids, out int k);
        cx = centroids[0].GetValues().ToArray();
        cy = centroids[1].GetValues().ToArray();
        cz = centroids[2].GetValues().ToArray();
    }

    float dx = prediction.Distances[0];
    float dy = prediction.Distances[1];
    float dz = prediction.Distances[2];
    // ... calculate and save full details for the record ...
}

鉴于这种情况，我想我可以通过以下方式获取有关预训练模型中每个记录位置的所有详细信息：

• dx、dy、dz 是距离。
• cx[0]cy[0]cy[0]+距离（分别为dx、dy和dz）应该是S1点的位置； cx[1]cy[1]cz[1]+距离S2的位置；以此类推，直到 S5（cx[4] 等）。

在这种情况下，我可以在 3D 散点图中绘制这些数据。然而，我对 ML.NET 完全陌生，因此我不确定这些假设，而且很可能我走错了路。谁能指出我正确的方向？

Answer 1

我只是自己想出来的 - 花了一些时间挖掘，所以对于那些感兴趣的人来说，这里有一些很好的信息：

现在可以通过以下方式从拟合模型中检索质心

VBuffer<float>[] centroids = default;
var modelParams = trainedModel.Model;
modelParams.GetClusterCentroids(ref centroids, out var k);

然而，here 文档令人讨厌地误导，因为他们声称是“坐标”的质心不是坐标，而是集群特征列的平均值。

根据您的管道，如果您像我一样拥有 700 个特征列和六个转换步骤，这可能会使它们变得毫无用处。据我所知（如果我错了，请纠正我！！！）没有办法将质心转换为笛卡尔坐标以用于制图。

但我们仍然可以使用它们。

我最终做的是在用我的数据训练我的模型之后，我通过模型的预测函数运行了我的所有数据。这给了我预测的集群 ID 和到所有其他集群质心的欧几里得距离。

使用预测的集群 ID 和集群的质心平均值，您可以将数据点的特征映射到平均值上，以根据预测的集群获得数据行的“加权值”。基本上，质心将包含它包含某列 0.6533、另一列 0.211 和另一列 0 的信息。通过运行您的数据点功能，可以说（5、3、1），通过您将获得的质心（3.2665， 0.633, 0)。这是预测集群中包含的数据行的表示。

然而，这仍然只是一行数据 - 为了使它们成为点图的笛卡尔坐标，我只需使用前半部分的总和作为 X，后半部分的总和作为 Y。对于示例数据，坐标将是 ( 3.8995, 0 )

这样做我们终于可以得到漂亮的图表

这是一个基本完整的代码示例：

VBuffer<float>[] centroids = default;
var modelParams = trainedModel.Model;
modelParams.GetClusterCentroids(ref centroids, out var k);

// extract from the VBuffer for ease
var cleanCentroids = Enumerable.Range(1, 5).ToDictionary(x => (uint)x, x =>
{
    var values = centroids[x - 1].GetValues().ToArray();
    return values;
});



var points = new Dictionary<uint, List<(double X, double Y)>>();
foreach (var dp in featuresDataset)
{
    var prediction = predictor.Predict(dp);

    var weightedCentroid = cleanCentroids[prediction.PredictedClusterId].Zip(dp.Features, (x, y) => x * y);
    var point = (X: weightedCentroid.Take(weightedCentroid.Count() / 2).Sum(), Y: weightedCentroid.Skip(weightedCentroid.Count() / 2).Sum());

     if (!points.ContainsKey(prediction.PredictedClusterId))
         points[prediction.PredictedClusterId] = new List<(double X, double Y)>();
     points[prediction.PredictedClusterId].Add(point);


}

其中featuresDataset 是一个对象数组，其中包含馈送到kmeans 训练器的特征列。有关示例，请参阅上面的 microsoft 文档链接 - featuresDataset 在他们的示例中将是 testData。