【发布时间】：2013-02-11 08:21:23
【问题描述】：
Cloudera 和 Hortonworks 使用 HDFS，这是 Apache Hadoop 的基本概念之一。 MapR 使用自己的概念/实现。您直接使用本机文件系统而不是 HDFS。您可以在 MapR 的网站上找到使用这种方法的许多优势。
我想知道这种方法的缺点是什么？
【问题讨论】：
【发布时间】：2013-02-11 08:21:23
【问题描述】：
我会稍微不同地定义 MapR。它不使用 HDFS，而是提供自己的带有 NFS 接口的分布式文件系统。其中，与 HDFS 一样，都是基于本地 FS 的。
主要区别在于 HDFS 不是 Posix 和其他设计选择这一事实。
1. HDFS 不可变，而 MapR 可变。它可以被视为优势，特别是如果您需要它。
2. HDFS 不可挂载，而 MapR 可挂载。您可以使用与 Linux FS 一起使用的任何现有工具。
与posix无关：
MapR 具有小块大小并且没有单点故障（NameNode）。
MapR 具有多站点复制。
让我们也看看黑暗的一面：
a) 拥有可变数据（而不是不可变的 HDFS）使系统更加复杂。
b) 不知道（至少对我而言）在大型集群上工作。 （我听说大约有数百个节点）。
c）从架构角度（有小块）我不确定如何实现良好的数据局部性。
【讨论】：
-
关于 David 的黑暗面 cmets，(a) 可变性让用户的事情变得更简单，(b) 它适用于大型集群...查看最近的世界排序记录，(c) 小块不是地方的问题； MapR 将磁盘单元（小块）、集群条带化单元（如 Hadoop 块 100 的 MB）和缩放常数（30GB 而不是 Hadoop 默认的 64MB）的概念分开。
-
Ted - 请提供排序记录的链接
-
Dave，Srivas 已经提供了链接。见mapr.com/blog/hadoop-minutesort-record
David，分钟排序记录是 MapR 于 2013 年 1 月 30 日在 Google Cloud 中的 Google Compute Engine 上创造的。请参阅我们的博客http://www.mapr.com/blog/hadoop-minutesort-record。该记录是在一个 2103 个节点的集群上创造的，1.5 TB 的数据在 59 秒内被排序。
另请参阅较早的博客，了解 MapR 在 54 秒内对 1 TB 数据进行排序的 Terasort 记录。 它设置在 Google Cloud 中 Google Compute Engine 上的 1003 节点集群上。该博客发布在http://www.mapr.com/blog/record-setting-hadoop-in-the-cloud。
有关此主题的许多问题/答案，请参见 answers.mapr.com。
【讨论】：
-
这是一个非常有趣的文档。我认为除了 HDFS 替换之外，对 MapR 的改进进行总结会非常有用。
-
另外 - 不清楚文档中提到的文件服务器是什么，什么是网络 - 1 GBit 或 10 GBit？
-
文件服务器是标准的MapR分布式文件服务器。网络为 10GbE。见mapr.com/doc/display/MapR/Start+Here
-
除 MapR 博客之外的任何来源？我在这里没有看到排序记录：http://sortbenchmark.org/.
【讨论】：
-
还有一点需要注意，“TeraByte 基准测试现已弃用，因为它与 MinuteSort 基本相同。”编号：sortbenchmark.org
MapR 和 Hortonworks/Cloudera 之间的主要缺点是 MapRFS（文件系统）和 MapR-DB（NOSQL 数据库）是专有的（不是开源的）。如果 MapR 不再存在，则假定这些产品将停止开发和支持。
由于 Hortonworks、Cloudera 和其他 Hadoop 发行版与开源社区一起使用/支持 HDFS/HBase，HDFS/HBase 不被开发和支持的风险较小。
【讨论】：