【发布时间】:2017-11-24 22:13:03
【问题描述】:
首先,我使用 spark 1.6.0。我想在 pyspark.ml.regression.LinearRegressionModel 中使用 L1 惩罚来进行特征选择。
但调用函数时无法得到详细的系数:
lr = LogisticRegression(elasticNetParam=1.0, regParam=0.01,maxIter=100,fitIntercept=False,standardization=False)
model = lr.fit(df_one_hot_train)
print model.coefficients.toArray().astype(float).tolist()
我只得到像这样的稀疏列表:
[0,0,0,0,0,..,-0.0871650387514,..,]
当我使用 sklearn.linear_model.LogisticRegression 模型时,我可以得到 coef_ 列表中没有零值的详细列表,例如:
[0.03098372361467529,-0.13709075166114365,-0.15069548597557908,-0.017968044053830862]
有了更好的 spark 性能,我可以更快地完成我的工作。我只想使用 L1 惩罚来进行特征选择。
我认为我应该像 sklearn 一样在我的特征选择工作中使用更详细的系数值,我该如何解决我的问题?
【问题讨论】:
标签: apache-spark pyspark apache-spark-ml