您是否知道任何免费/低成本的大型数据集可用于试验 Hadoop？ 任何相关的指针/链接表示赞赏。
偏好：
至少 1 GB 的数据。
网络服务器的生产日志数据。
到目前为止我发现的很少：
我们也可以运行我们自己的爬虫来从网站收集数据，例如维基百科？任何关于如何做到这一点的指针也很感激。
【问题讨论】：
一个明显的来源：the Stack Overflow trilogy data dumps。这些在知识共享许可下免费提供。
【讨论】：
这不是日志文件，但也许你可以使用 OpenStreetMap 中的行星文件：http://wiki.openstreetmap.org/wiki/Planet.osm
CC 许可证，大约 160 GB（未打包）
每个大陆也有较小的文件：http://wiki.openstreetmap.org/wiki/World
【讨论】：
关于您关于抓取和维基百科的问题的几点说明。
您已链接到 wikipedia data dumps，并且可以使用 UMD 的 Cloud9 项目在 Hadoop 中处理此数据。
他们对此有一个页面：Working with Wikipedia
要添加到列表中的另一个数据源是：
使用爬虫生成数据应该放在一个单独的问题中，我会说是关于 Hadoop/MapReduce 的问题。
【讨论】：
这是用于机器学习的 189 个数据集的集合（这是 hadoop g 最好的应用程序之一）： http://archive.ics.uci.edu/ml/datasets.html
【讨论】：