使用 HDFS+Map Reduce 的示例应用程序

Question

我有一门学术课程“中间件”，涵盖了分布式软件系统的不同方面，包括对 [tag:分布式文件系统] 等主题的介绍。这也涉及到hbase,hadoop,mapreduce,hiveql,piglatin的介绍。 我想知道，我可以有一个尝试整合上述技术的小项目。对于初学者，我知道cloudera 提供的vm 有hadoop 的感觉并使用Eclipse。 我正在考虑实现一个接受事件流作为输入的应用程序，分析它并给出输出。

我的机器上同时拥有windows/linux 和i7 处理器和4Gb 内存。

请让我知道如何开始一切，欢迎对简单示例应用程序提出任何建议。

Answer 1

Here 是一篇关于使用 Hive/HDFS 分析推文的博文。 here 是一篇关于使用 Pig 和 Hive 执行点击流分析的博文。

查看一些大数据用例here 并尝试解决一个有趣的问题。