我应该使用什么平台/工具/软件/语言进行文本挖掘？答案

【问题标题】：What platform / tool / software / language should i use for text mining?我应该使用什么平台/工具/软件/语言进行文本挖掘？
【发布时间】：2012-01-20 17:40:15
【问题描述】：

我是文本挖掘领域的初学者。我需要对文档相似性进行工作。我的目标是比较两个文档，然后根据数字提供它们之间的相似性。我已经阅读了很多关于此的理论。我打算从余弦相似度开始

你们中的任何人都可以帮助我解决这些基本问题吗： 1.什么平台？ (Windows/Linux) 2. 什么工具（人们谈论 weka / mahout / hadoop ） - 我不知道该使用什么 3. 什么语言？有些问题可能听起来很荒谬，但我必须从头开始，我需要一些帮助

【问题讨论】：

查询范围太广。做一些研究，然后在论坛中提问。
我只是想要一些建议..

标签： hadoop weka similarity mahout text-mining

【解决方案1】：

对于软件，我强烈推荐 RapidMiner，您可以从 http://rapid-i.com 获取。一些快速的优点：

开源并用 Java 实现（适用于任何平台）
用于数百个数据挖掘任务的直观图形“操作员管道”
出色的文本挖掘支持。看到这个video tutorial

根据我的经验，数据挖掘需要一些真正的纪律才能获得理想的结果。 RapidMiner 应该会有所帮助。

【讨论】：

谢谢 .. 但是你对 weka 工具有什么看法吗？有效吗？
这里是关于 RM 与 Weka 的讨论：rapid-i.com/rapidforum/index.php?topic=501.0。它似乎没有偏见。没用过 Weka，但我知道 RM 有 Weka 插件..

【解决方案2】：

文档相似度，例如在文本搜索的上下文中？然后Solr 将符合要求。它是一个开源企业搜索平台，具有文本搜索所需的所有功能，包括“more like this”，它可以获取 n 个文本相似的文档。

您可能感兴趣的几个相关功能：

如果 Hadoop 设置吓到您，它可以轻松地部署为 Tomcat 上的 Java Web 应用程序。
可以增强文本比较的构面和数值比较。

【讨论】：

【解决方案3】：

平台 - Linux（主要是首选）

工具 - Open NLP , Lucene , Solr(Text-Search) , Mahout , Matlab TMG(不适用于高级)

语言 - R（我更喜欢）、Python+SciPy

【讨论】：