mahout - seq2sparse 不创建向量答案

【问题标题】：mahout - seq2sparse not creating vectorsmahout - seq2sparse 不创建向量
【发布时间】：2013-07-31 07:27:55
【问题描述】：

我有 Twitter 数据（用户名和他们的推文），我正在尝试对其进行聚类。文本文件大小为 151.7 MB。

此时显然出现了问题。它声称成功，但它只创建字节大小的矢量文件。我的 TFIDF 矢量文件只有 90 字节，当原始 txt 文件和序列文件都是 151 MB 时，这显然是错误的。

最让我困惑的是，我看不出我拥有的数据与“Mahout in Action”的聚类示例中使用的路透社数据集之间有什么不同。它们都只是文本。

以下是我使用的确切命令：

--- 将原始文本 txt 文件转换为 mahout 序列文件。我还使用 seqdumper 检查了序列文件，它充满了用户名/推文数据。 ---

 sudo /opt/mahout/bin/mahout seqdirectory -c UTF-8 -i /home/efx/Desktop/tweetQueryOutput.txt -o /home/efx/Desktop/allNYCdataseqfiles

（查看序列文件，里面全是用户名/推文数据）

 sudo /opt/mahout/bin/mahout seqdumper -i /home/efx/Desktop/allNYCdataseqfiles/chunk-0 -o /home/efx/Desktop/allNYCdataseqfiles/sequenceDumperOutput

--- 然后尝试将序列文件转换为稀疏向量。 ---

 sudo /opt/mahout/bin/mahout seq2sparse -o /home/efx/Desktop/allNYC_DataVectors -i /home/efx/Desktop/allNYCdataseqfiles/ -seq

【问题讨论】：

【解决方案1】：

在 Mahout 0.8+cdh5.0.2 下，您必须执行以下操作：

sudo /opt/mahout/bin/mahout seq2sparse 
-o /home/efx/Desktop/allNYC_DataVectors 
-i /home/efx/Desktop/allNYCdataseqfiles/
-seq
--maxDFPercent 100

--maDFPercent 选项表示 DF 的最大文档百分比。它可以用来删除真正的高频项。默认值为 99。但如果您也使用--maxDFSigma，它将覆盖此值。

这对我来说很好，但我不确定 Mahout 的 0.7 版本。

【讨论】：