.NET 和 Hadoop - 我应该知道/学习什么以及什么是可用的？ [关闭]

Question

信息

我的问题是关于 .NET 中的 BigData。 BigData 用于存储和查询大量数据（Facebook、Google、Twitter 等）。 BigData 的示例包括 MapReduce、Hadoop、Dryad 等。

Microsoft 放弃了他们的 Dryad (DryadLinq) 替代方案，转而支持 Hadoop（Dryad 和 the article），所以我想为它以及与之相关的一切做好准备。

我已经知道的

现在有什么可用的？

Hadoop Connector

SQL Server 2012 RC (don't use in production :))

Microsoft Information on Big Data

关于发布和开发，我应该了解哪些更多信息？

Register on the TechPreview

问题

问题 1： 对于 .NET 平台以外的 Hadoop，我应该了解哪些信息？ （如何查询、特定模式、架构……）并且会很有用（在 .NET 环境中）

问题 2： 关于 .NET 平台中的 Hadoop 的信息是否比我已经知道的更多？

Answer 1

这是一个模糊的问题，所以这里是一个模糊的答案:)

Hadoop 本身是一个在集群中运行 map-reduce 作业的工具，它针对性能进行了高度优化，并且通过以一种易于使用且不会导致I/O 惩罚。

为此，您应该阅读HDFS 以及解释如何完成的内部信息，简而言之，发生的情况是输入数据在节点中聚集在一起以在本地运行进程并按顺序读取（这是一个属性/HDFS 的限制）。

通过这种方式，您输入“大数据”，它会在集群内以最有效的方式进行拆分和处理。

既然 Hadoop 本身就是这样，那么还有一些工具可以在它之上工作，允许您对数据执行高级抽象（map-reduce 是最简单的过程之一）。

其中包括：

• Pig http://pig.apache.org/ 是一种用于 map-reduce 过程并构造更复杂操作的语言
• Hive http://hive.apache.org/ 与之前类似，但更面向 SQL
• 级联 http://www.cascading.org/ 又一个，比查询更关注数据流
• Cascalog https://github.com/nathanmarz/cascalog 基于 Cascading，用 Clojure 编写
• HBase http://hbase.apache.org/ 一种基于 HDFS 的 NoSQL 数据库
• ElephantDB https://github.com/nathanmarz/elephantdb Hadoop 的另一个 NoSQL 数据库

.Net 规范

对于 Azure (.Net) 上的 Hadoop，在 msdn here 上有介绍，还有更多 info here。与通过其平台构建 Hadoop 应用程序相关。 现在只是 CTP，但当然这会改变。

这是另一个关于Hadoop and MapReduce 和code 的好博文

此外，还有一家公司经常提供有关 Hadoop 的信息：Cloudera，您应该经常查看那里以获取更多信息。 有关更多信息，请查看上面链接的 cloudera 页面，您可以查看有关 Hadoop 的所有概念（虽然它非常先进）

我很确定这不是你想要的，但我不知道你想要什么，所以至少我希望你能检查一些可能有帮助的新项目。

还可以查看 Storm：https://github.com/nathanmarz/storm 它与 Hadoop 无关，但适用于 Hadoop 不适合的实时场景。

Answer 2

目前，针对 Hadoop 的 .NET 特定内容并不多。您只需遵循常规的 Hadoop 教程即可。 SQL Server 连接器只允许您导入输入数据并将结果导出为更易于应用程序其余部分访问的格式。

您可以在 Windows 上运行 Hadoop。但是，它需要Cygwin（类似于 Unix 的环境和 Microsoft Windows 的命令行界面）。

基本上，要使用 Hadoop，您无论如何都需要学习 Linux。