【问题标题】:Creating HBase table for files in HDFS directory为 HDFS 目录中的文件创建 HBase 表
【发布时间】:2016-11-03 11:23:19
【问题描述】:

我正在尝试将 HDFS 目录中的所有文件数据加载到 HBase 现有表中。您能分享一下如何将所有文件数据和增量数据加载到 HBase 表中。 我将 HBase 表创建为

hbase>create 'sample','cf'

我要复制

hdfs://ip:port/user/test

进入示例 hbase 表。请建议我任何解决方案。

【问题讨论】:

  • 我试过 ImportTSV 但它只从一个文件中获取数据,但我正在寻找整个目录。
  • 在 ImportTSV 中,如果您尝试仅提供 /user/hadoop/ 目录路径而不是完整文件路径,它应该处理该目录中的所有文件
  • 谢谢你,这正在工作。你能告诉我如何在该命令中为两列指定 HBASE_ROW_KEY。

标签: hadoop hbase


【解决方案1】:

答案 1:(可能)

ImportTSV,如果您尝试仅提供 /user/hadoop/ 目录路径而不是完整文件路径,它应该处理其中包含的所有文件目录。

答案 2:(似乎不可能)

特殊的列名HBASE_ROW_KEY 用于指定此 列应用作每个导入记录的行键。你 必须准确指定一列作为行键,并且您必须 为输入数据中存在的每一列指定一个列名。

【讨论】:

    猜你喜欢
    • 2017-12-05
    • 1970-01-01
    • 1970-01-01
    • 2020-05-04
    • 2016-10-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-11-11
    相关资源
    最近更新 更多