【问题标题】:Updating a hadoop HDFS file更新 hadoop HDFS 文件
【发布时间】:2016-03-14 13:00:26
【问题描述】:

我是 Hadoop 的新手。我一直在阅读 HDFS 主要是关于“一次编写,随时阅读”。我有一个用例,我可能需要对存储在 HDFS 中的文件进行修改。我一直在研究是否有任何方法可以做到这一点。

我的问题是是否可以将 HDFS 文件加载到 HBase,进行修改,然后将其保存回 HDFS,然后删除原始文件。如果可行,请告诉我。

【问题讨论】:

    标签: hadoop hdfs


    【解决方案1】:

    如果您需要更新文件中的值,最好使用 HBase。您仍然可以通过 TableInputFormat 和 TableOutputFormat 在 MR 作业中使用 HBase 表。如果要附加数据,可以使用任何支持 hdfs 附加的 hadoop 版本,例如 0.20.205.0。

    【讨论】:

    • 谢谢史蒂夫。我可以使用 hbase 在 hdfs 文件中进行随机写入还是仅附加?
    • 可以随意修改hbase中的记录
    • Steve 我已经建立了一个 Hbase 表,能够通过 HDFS 文件。当我尝试使用简单的“Put”命令更新 Hbase 记录时,我看不到 HDFS 的变化?它不应该自动更新吗?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-09-23
    • 2021-11-05
    相关资源
    最近更新 更多