【问题标题】:Does Hadoop Distributed File System support any Update Operation as Google File System do?Hadoop 分布式文件系统是否像 Google 文件系统一样支持任何更新操作?
【发布时间】:2013-09-26 21:31:04
【问题描述】:

我正在阅读 Google File System 上发表的论文,发现 GFS 支持在现有文件的任意位置追加和更新。

据我所知,HDFS 不支持更新操作,因为它是用于一次写入和多次读取的功能。 HDFS 现在确实支持追加操作。他们将最新版本的 dfs.support.append 默认设置为 false。

所以我的问题是我们可以通过什么方式进行某种更新操作。我试过看,但我发现HDFS不支持更新操作。

希望尽快收到您的来信。

仅供参考:我读过很多关于 claudera 和其他关于此的帖子。我能够在 hadoop 贡献者的一些博客中找到 HDFS 确实支持更新操作的可能性。但是没有人提到或确切说明它是如何进行更新操作的。

【问题讨论】:

    标签: java hadoop mapreduce hdfs gfs


    【解决方案1】:

    当前的主要版本 Apache Hadoop 2.0 提供了几项重大的 HDFS 改进,包括新的附加管道。您可以在 append design document 上找到详细信息。这些是相关的门票:

    HADOOP-1700

    HDFS-265

    顺便说一句,我也尝试过在 1.x 上附加。它有效,但不安全。

    【讨论】:

    • 感谢您的回复。那么,您知道是否为 HDFS 上的更新操作生成了任何票证或请求,他们是否真的计划将这些操作包含在 Hadoop 最新版本中。因为如果他们这样做了,很多事情都会改变他们目前在 hadoop 中执行操作的方式。
    • 更新是什么意思?追加也是更新。是的,2.x 带有此功能。随着更新功能的运行,情况肯定会发生变化。
    • 通过更新我的意思是,一旦我在 HDFS 中存在的文件中写入了一些内容,我可以覆盖该文件中存在的内容(附加将允许在文件末尾添加更多内容而不覆盖内容)??您是说 2.x 允许用新内容覆盖 hdfs 中存在的文件中的内容。
    • AFAIK,HDFS 不支持随机写入,即您可以跳转到文件中选定的偏移量。追加功能允许我们在之前关闭的文件的末尾添加数据。
    • 好的,谢谢,如果您发现其他问题,请告诉我。
    猜你喜欢
    • 2012-08-16
    • 1970-01-01
    • 2016-07-19
    • 1970-01-01
    • 2013-04-28
    • 1970-01-01
    • 2015-10-25
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多