【问题标题】:5 to 10 GB of text files to download?要下载 5 到 10 GB 的文本文件?
【发布时间】:2012-03-19 05:39:04
【问题描述】:

我正在尝试查找 5 到 10 GB 范围内的纯英文文本文件 (txt) 来执行索引和搜索任务。有没有可以下载此类数据集的开源资源?

谢谢

朝圣

【问题讨论】:

  • 一个巨大的哈希表,这是你要找的吗?
  • @PatrickLorio - 我正在寻找纯文本。不是一个巨大的哈希表。我可以简单地将磁盘作为纯文本读取而不进行任何解析。我的意思是 MS-Word 文件和排序不是我需要的。

标签: file text dataset


【解决方案1】:

几年前为我的硕士做研究时,我有点需要同样的东西。我所做的是结合这个网站的多本书:

http://www.gutenberg.org/

【讨论】:

  • 这取决于书的长度,我记得用了很多以百科全书为标题的书,平均每本大约10 MB的纯文本文件。我知道这不是您要查找的整个数据集,但您可以加入它们并得出所需的大小。
  • 很棒的是,因为这些是英文书籍,而不仅仅是随机单词的集合,它是在真实情况下尝试搜索算法的完美数据集,至少我是这样做的。跨度>
【解决方案2】:

我建议使用 BitTorrent 下载 DVD of Project Gutenberg。他们有几 GB 的公共领域文本,主要是 ASCII 格式。

【讨论】:

    【解决方案3】:

    在 Amazon S3 http://aws.amazon.com/datasets/2320?_encoding=UTF8&jiveRedirect=1 上查看这个 freebase.com 数据转储

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-03-10
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多