在制表符分隔的文件中计算字符串元素中的单词

Question

我有一个制表符分隔的文本文件。我需要提取第二个元素，并且只对出现在第二个元素中的单词进行字数统计。 （我还需要过滤少于 3 个字符的单词，并希望将单词显示为键并按计数的降序计数作为值。）

我可以使用读取文件

scala> val lines = sc.textFile("MYDIR/myfile").map(_.split("\t"))

scala> lines.take(3) 

我得到Array[Array[String]] =

Array(Array(abc, Here is the First Text, en, Thu Sep 26 08:25:42 CDT 2013, null),
      Array(def, and here is the Second text, en, Thu Sep 26 08:27:22 CDT 2013, null),
      Array(ghi, and here is Another text, en, Thu Sep 26 08:50:21 CDT 2013, null))

如果我映射得到第二个元素

val wrdStr = lines.map(ar=>ar(1).toLowerCase)

wrdStr.take(3)
Array[String] = Array(here is the first text, and here is the second text, and here is Another text)

我想做基本的字数统计，但是如果我.flatMap(_.split("\\W+"))，并在每个单词中添加 ,1，我就不再有 RDD，所以当我尝试执行 reduce 操作时它会失败。如何实现字数统计？一旦我映射到第二个元素？

Answer 1

您可以执行以下操作

wrdStr.flatMap(line => line.split("\\W+"))
    .filter(word => word.length > 2)
    .map(word => (word, 1))
    .reduceByKey(_ + _)
    .sortBy(x => x._2, ascending = false)
    .foreach(println)

你应该有以下输出

(text,3)
(here,3)
(and,2)
(the,2)
(second,1)
(another,1)
(first,1)