VectorSlicer 如何在 Spark 2.0 中工作？

Question

在 Spark 官方文档中，

VectorSlicer 是一个转换器，它接受一个特征向量并输出一个带有原始特征子数组的新特征向量。它对于从向量列中提取特征很有用。

• 这是否从特征集中选择重要特征？

• 如果是这样的话，不提因变量怎么办？

我正在尝试执行数据聚类，我需要能够更好地促进聚类的重要功能。我可以为此使用VectorSlicer 吗？

Answer 1

这是否从特征集中选择了重要特征？

它没有。它从字面上切分向量以仅选择指定的索引。

并且需要能够更好地为集群做出贡献的重要特征。

• 如果您有分类数据，请考虑使用ChiSqSelector。

• 否则你可以像PCA一样使用降维。它与特征选择不同，但应该提供类似的好处（只保留最重要的信号，丢弃其余信号）。