在 spark ML 2.2.0 中使用 sklearn-python 模型进行预测

Question

我正在使用 sklearn 在 python 中处理一个文本分类问题。我已创建模型并将其保存在 pickle 中。

下面是我在 sklearn 中使用的代码。

vectorizerPipe = Pipeline([('tfidf', TfidfVectorizer(lowercase=True,
        stop_words='english')),
('classification', OneVsRestClassifier(LinearSVC(penalty='l2', loss='hinge'))),])

prd=vectorizerPipe.fit(features_used,labels_used])

f = open(file_path, 'wb')
pickle.dump(prd, f)

有没有办法使用这个相同的泡菜来获取基于 DataFrame 的 apache spark 而不是基于 RDD 的输出。我浏览了以下文章，但没有找到合适的实现方法。

1. what-is-the-recommended-way-to-distribute-a-scikit-learn-classifier-in-spark

2. how-to-do-prediction-with-sklearn-model-inside-spark -> 我在 StackOverflow 上找到了这两个问题，发现它很有用。

deploy-a-python-model-more-efficiently-over-spark

我是机器学习的初学者。所以，请原谅我的解释是幼稚的。任何相关的示例或实现都会有所帮助。

Answer 1

RDD -> 使用 Spark 触发数据帧

喜欢：

import spark.implicits._
val testDF = rdd.map {line=>
                      (line._1,line._2)
                     }.toDF("col1","col2")