【问题标题】:where does region server present and other?区域服务器在哪里以及其他?
【发布时间】:2015-05-04 12:01:28
【问题描述】:
  1. 区域服务器存在于何处?是数据节点还是区域服务器,区域存在于不同的硬件中。

  2. WAL 是否由表的数据和操作组成?

  3. memstore 有什么作用?它把WAL的数据和数据一起存储了吗?

  4. zookeeper 实际上是做什么的?

【问题讨论】:

    标签: hadoop hadoop-streaming hadoop2 rhadoop


    【解决方案1】:

    希望以下信息对您有所帮助:

    1. 从技术上讲,区域服务器存在于 Hadoop 集群中的 Datanode 上。区域存储在 HDFS 中。

    2. 客户端向 HRegionServer 发出 HTable.put(Put) 请求,HRegionServer 将详细信息传递给匹配的 HRegion 实例。第一步是将数据写入预写日志(WAL),由 HLog 类表示。

    3. 一旦数据写入 WAL,它就会被放置在 MemStore 中。同时,检查 MemStore 是否已满,如果已满,则请求刷新到磁盘。该请求由 HRegionServer 中的一个单独线程提供服务,该线程将数据写入位于 HDFS 中的新 HFile。

    4. ZooKeeper 协调客户端和 Hbase 集群之间的通信。

    【讨论】:

      【解决方案2】:

      1.Region 服务器位于数据节点所在的同一位置。他们负责将数据作为 3 个副本存储在 hdfs 中。

      2.WAL 类似于 SQL 服务器中的事务日志,它会处理所有操作并在存储过程中发生某些事情失败时执行其操作(为了丢失数据,它将作为备份提供)。

      3.在将数据写入 WAL 时,然后在达到 memstore(阈值级别)的限制时写入 memstore,然后将数据刷新到同一存储中存在的 hflie。

      4.它存储了由集群信息组成的-.ROOT.-表,它在读取数据时帮助客户端。即:它为客户端提供查找数据的路径。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2012-09-27
        • 2018-01-28
        • 1970-01-01
        相关资源
        最近更新 更多