识别 Twitter 中的热门话题

Question

我正在使用 spark 流传输实时推文（过滤器，仅英文推文）并将它们存储在 Cassandra 中，然后我计划运行 K-means/LSI 算法（使用 spark MLib）来识别趋势主题。

我需要有关如何以矩阵（向量）表示形式表示这些推文的提示。此外，我想知道用存储的数据训练模型然后用流数据运行模型是否正确？

Answer 1

这完全取决于您使用的功能和您使用的语言。

您可以将其表示为一个向量，其中所有单词为列，每个值都在 1 和 0 之间，使用某种度量标准，例如 TFIDF。然后在常规 RDD（或稀疏）上执行 k-means

https://spark.apache.org/docs/1.1.0/mllib-clustering.html

https://spark-summit.org/2014/wp-content/uploads/2014/07/sparse_data_support_in_mllib1.pdf