【发布时间】:2020-06-10 21:48:26
【问题描述】:
假设我在应用常规 OneHotEncoder 的数据框中有一些特征/列,以及我需要应用我的自定义 OneHotEncoder 的一个(let,n-th)列。然后我需要使用 VectorAssembler 来组装这些特征,并放入 Pipeline,最后拟合我的 trainData 并从我的 testData 中获取预测,例如:
val sIndexer1 = new StringIndexer().setInputCol("my_feature1").setOutputCol("indexed_feature1")
// ... let, n-1 such sIndexers for n-1 features
val featureEncoder = new OneHotEncoderEstimator().setInputCols(Array(sIndexer1.getOutputCol), ...).
setOutputCols(Array("encoded_feature1", ... ))
// **need to insert output from my custom OneHotEncoder function (please see below)**
// (which takes the n-th feature as input) in a way that matches the VectorAssembler below
val vectorAssembler = new VectorAssembler().setInputCols(featureEncoder.getOutputCols + ???).
setOutputCol("assembled_features")
...
val pipeline = new Pipeline().setStages(Array(sIndexer1, ...,featureEncoder, vectorAssembler, myClassifier))
val model = pipeline.fit(trainData)
val predictions = model.transform(testData)
如何修改 vectorAssembler 的构建,以便它可以接收来自自定义 OneHotEncoder 的输出? 问题是我想要的 oheEncodingTopN() 不能/不应引用“实际”数据帧,因为它将是管道的一部分(应用于 trainData/testData)。
注意:
我测试了自定义 OneHotEncoder(参见 link)在例如训练数据。基本上,oheEncodingTopN 在输入列上应用 OneHotEncoding,但仅针对前 N 个频繁值(例如 N = 50),并将所有其余不频繁值放在一个虚拟列中(例如,“默认”) ,例如:
val oheEncoded = oheEncodingTopN(df, "my_featureN", 50)
import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.functions.{col, lit, when}
import org.apache.spark.sql.Column
def flip(col: Column): Column = when(col === 1, lit(0)).otherwise(lit(1))
def oheEncodingTopN(df: DataFrame, colName: String, n: Int): DataFrame = {
df.createOrReplaceTempView("data")
val topNDF = spark.sql(s"select $colName, count(*) as count from data group by $colName order by count desc limit $n")
val pivotTopNDF = topNDF.
groupBy(colName).
pivot(colName).
count().
withColumn("default", lit(1))
val joinedTopNDF = df.join(pivotTopNDF, Seq(colName), "left").drop(colName)
val oheEncodedDF = joinedTopNDF.
na.fill(0, joinedTopNDF.columns).
withColumn("default", flip(col("default")))
oheEncodedDF
}
【问题讨论】:
标签: scala apache-spark machine-learning one-hot-encoding