python中的开源数据挖掘/文本分析工具答案

【问题标题】：open source data mining/text analysis tools in pythonpython中的开源数据挖掘/文本分析工具
【发布时间】：2010-12-01 04:19:12
【问题描述】：

我有一个包含各种产品评论的数据库。我的任务是执行各种计算并使用聚合数据“创建”另一个“数据库/xml 导出”。我正在考虑用python编写命令行程序来做到这一点。但我知道以前有人做过，而且我知道有一些开源 python 解决方案或类似的解决方案可能会提供更多有趣的“聚合数据”，然后我可能会想到。

问题是除了从命令行进行基本数据操作之外，我对这个领域知之甚少，也不知道我什至应该用什么术语来搜索这个东西。我真的不是在寻找一些科学的东西/visualization 的东西（我不介意该工具是否提供），一些简单的开始并逐渐看到/开发我需要的东西。

我唯一的要求是“最终聚合数据”在数据库中或导出为 XML 文件而不是专有内容。它比我的 python 脚本有点健壮，因为我必须处理 4 台机器上的“大量”数据。

任何提示我应该从哪里开始我的研究？

谢谢。

【问题讨论】：

【解决方案1】：

您似乎正在寻找数据集成解决方案。
一个建议是Pentaho 套件的开源Kettle project 部分。
对于 python，快速搜索得到 PyDI 和 SnapLogic

【讨论】：

【解决方案2】：

您要进行什么样的分析？

如果您正在分析文本，请查看Natural Language Toolkit (NLTK)。

如果您想索引和搜索数据，请查看whoosh 搜索引擎。

请提供更多详细信息，说明您希望进行哪种分析。

【讨论】：

一般来说，我有日期/时间、文本（即评论）和评论的 cmets/回复（所以它有点像线程 cmets），在某些情况下，我在评论中有 URL，和其他与用户相关的东西，比如他的观点等等。现在，我肯定想要某种 NLP 来分析文本。另外，我想提取/计算值，例如“计算机”类别中的评论数量、cmets 分开的频率等。我希望它能给你更多的信息。我会看看你上面提到的那些。谢谢。