【发布时间】:2016-03-14 13:00:26
【问题描述】:
我是 Hadoop 的新手。我一直在阅读 HDFS 主要是关于“一次编写,随时阅读”。我有一个用例,我可能需要对存储在 HDFS 中的文件进行修改。我一直在研究是否有任何方法可以做到这一点。
我的问题是是否可以将 HDFS 文件加载到 HBase,进行修改,然后将其保存回 HDFS,然后删除原始文件。如果可行,请告诉我。
【问题讨论】:
我是 Hadoop 的新手。我一直在阅读 HDFS 主要是关于“一次编写,随时阅读”。我有一个用例,我可能需要对存储在 HDFS 中的文件进行修改。我一直在研究是否有任何方法可以做到这一点。
我的问题是是否可以将 HDFS 文件加载到 HBase,进行修改,然后将其保存回 HDFS,然后删除原始文件。如果可行,请告诉我。
【问题讨论】:
如果您需要更新文件中的值,最好使用 HBase。您仍然可以通过 TableInputFormat 和 TableOutputFormat 在 MR 作业中使用 HBase 表。如果要附加数据,可以使用任何支持 hdfs 附加的 hadoop 版本,例如 0.20.205.0。
【讨论】: