【问题标题】:How to use L1 penalty in pyspark.ml.regression.LinearRegressionModel for features selection?如何在 pyspark.ml.regression.LinearRegressionModel 中使用 L1 惩罚进行特征选择?
【发布时间】:2017-11-24 22:13:03
【问题描述】:

首先,我使用 spark 1.6.0。我想在 pyspark.ml.regression.LinearRegressionModel 中使用 L1 惩罚来进行特征选择。

但调用函数时无法得到详细的系数:

lr = LogisticRegression(elasticNetParam=1.0, regParam=0.01,maxIter=100,fitIntercept=False,standardization=False)
model = lr.fit(df_one_hot_train)
print model.coefficients.toArray().astype(float).tolist() 

我只得到像这样的稀疏列表:

[0,0,0,0,0,..,-0.0871650387514,..,]

当我使用 sklearn.linear_model.LogisticRegression 模型时,我可以得到 coef_ 列表中没有零值的详细列表,例如:

[0.03098372361467529,-0.13709075166114365,-0.15069548597557908,-0.017968044053830862]

有了更好的 spark 性能,我可以更快地完成我的工作。我只想使用 L1 惩罚来进行特征选择。

我认为我应该像 sklearn 一样在我的特征选择工作中使用更详细的系数值,我该如何解决我的问题?

【问题讨论】:

    标签: apache-spark pyspark apache-spark-ml


    【解决方案1】:

    以下是 Spark 2.1 中的有效代码片段。

    提取值的关键是:

    stages(4).asInstanceOf[LinearRegressionModel]
    

    Spark 1.6 可能有类似的东西。

    val holIndIndexer = new StringIndexer().setInputCol("holInd").setOutputCol("holIndIndexer")
    
    val holIndEncoder = new OneHotEncoder().setInputCol("holIndIndexer").setOutputCol("holIndVec")
    
    val time_intervaLEncoder = new OneHotEncoder().setInputCol("time_interval").setOutputCol("time_intervaLVec")
    
    val assemblerL1 = (new VectorAssembler()
               .setInputCols(Array("time_intervaLVec", "holIndVec", "length")).setOutputCol("features") )
    
    val lrL1 = new LinearRegression().setFeaturesCol("features").setLabelCol("travel_time")
    
    val pipelineL1 = new Pipeline().setStages(Array(holIndIndexer,holIndEncoder,time_intervaLEncoder,assemblerL1, lrL1))
    
    val modelL1 = pipelineL1.fit(dfTimeMlFull)
    
    val l1Coeff =modelL1.stages(4).asInstanceOf[LinearRegressionModel].coefficients
    
    println(l1Coeff)
    

    【讨论】:

      猜你喜欢
      • 2016-03-30
      • 2018-12-06
      • 1970-01-01
      • 2021-12-18
      • 2020-06-19
      • 2014-11-15
      • 2016-10-19
      • 2021-04-04
      • 2020-09-11
      相关资源
      最近更新 更多