python中的文本分析[关闭]

Question

您是否看过一些很好的 Python 文本分析教程或仅作为理论教程？我的意思是确定文本的主题、分析单词等。

Answer 1

您可以使用Apache Spark，它带有四种支持的语言（Java、Scala、Python 和 R），它与ipython 和jupyter 兼容，但有一些棘手的modifications。

有些课程您可以旁听：

• Introduction to Big Data
• Scalable Machine Learning

这是一个铺垫主题的小pdf。

• Text Analysis with Apache Spark

这里我展示了一个word-count 使用Apache-Spark 的小例子，但不限于这个主题（它有PCA、SVD 和一个大的等等）

documentRDD = sc.parallelize(["Hello", "world", "from", "the", "python", "world"])
tokensTupleRDD = documentRDD.map(lambda word: (word, 1))
tokensCountRDD = tokensTupleRDD.reduceByKey(lambda a, b: a + b)
print(tokensCountRDD.collect()) 
# ("Hello", 1), ("world", 2),...

另一种选择是使用Scikit-learn，它非常好用，简单，也涵盖了这个领域，唯一不好的是算法不能在集群中运行并且不能很好地扩展。

他们甚至在他们的网站上有一个非常简单的教程：

• Scikit-learn Tutorial

所以如果你想学习我建议scikit-learn，但如果你想在你的工作中申请Bid Data，我可能建议你同时学习并使用Apache Spark