使用 spark 和 scala 提取文本

Question

我在 scala 中有一个文本提取算法，我想在它上面使用 spark。我无法理解如何使用它，因为我是 spark 和 scala 的新手 我的算法是这样的

object HelloWorld {
    val algoobejct = new ObjectExtract
    var textFile = ("Path to text file")
  for each sentence in textFile
  {
    val instances = algoobject.extract(sentence);
      save instances to texFile
    }

我可以在这里有多个文本文件，这些文本文件很多。

谁能告诉我如何使用 spark 完成它？
我的算法在 scala 中，所以我将只使用 scala 来完成这项任务。

Answer 1

试试这个..

val algoobejct = new ObjectExtract
val rdd = sparkContext.textFile("Path to text file")
rdd.map(sentence=>algoobject.extract(sentence)).saveAsTextFile("outputDirectory")

只要确保 algoobejct 扩展 Serializable 否则它将无法工作