【问题标题】:How Blockchain is different from HDFS and how bitcoin mining is different from Map reduce or spark?Blockchain 与 HDFS 有何不同,比特币挖矿与 Map reduce 或 spark 有何不同?
【发布时间】:2017-09-26 02:40:38
【问题描述】:

我正在使用区块链技术,我发现它将文件保存在多个不同的服务器上。现在根据 Hadoop 文档,它还将文件存储在多个服务器上,并在 1 个主节点上保留 1 个主副本。 它还有zoo keeper,负责维护主节点和所有辅助节点之间的数据。

现在我的问题是是否有任何用于区块链的 Zookeeper 是维护主副本,或者我的理解方式有误?

【问题讨论】:

    标签: hadoop blockchain


    【解决方案1】:

    这些是完全不同的动物。大多数区块链全节点完全独立运行,并花费时间验证交易。事实上,比特币协议或以太坊中的每个完整节点都拥有整个链的完整副本——即自区块零以来发生的每笔交易。他们在共识的基础上进行操作和验证,因此它是真正的无头,而不是分布式集群。

    HDFS 在一个节点上(通常)被组织为“只是一堆磁盘”(JBOD),这意味着它们甚至通常不会打扰 RAID。复制是跨节点完成的,但不是完全复制,这意味着中型或大型集群中可能有 5 个文件副本,并且磁盘故障有可能(随着集群的大小而增加)导致实际数据丢失.

    HDFS 可大规模扩展,但具有内在风险,需要备份策略。另一方面,区块链更加紧凑,但由于账本有数千或数百万个完整副本,每一个都很难在事后修改,因此几乎不可能丢失数据。

    【讨论】:

      【解决方案2】:

      区块链基于IPFS,不同于HDFS。 IPFS 是分布式文件系统,而 HDFS 是分布式文件系统。 在 HDFS 中复制因子是恒定的,但在 IPFS 中,您感兴趣的对等点可以复制数据。

      有趣的论文,其中描述了在 HDFS 之上使用 IPFS 如何提高 hadoop 作业的性能 链接-https://www.cse.unsw.edu.au/~hpaik/thesis/showcases/16s2/scott_brisbane.pdf

      【讨论】:

      • 你说的不对。区块链不是基于 IPFS,但我们可以将区块链与 IPFS 连接起来
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2022-01-24
      • 1970-01-01
      • 1970-01-01
      • 2017-09-20
      • 2014-01-17
      • 2010-09-14
      • 1970-01-01
      相关资源
      最近更新 更多