【问题标题】:How to do Import data from Microsoft SQL server into HBase如何将 Microsoft SQL 服务器中的数据导入 HBase
【发布时间】:2015-07-27 06:37:38
【问题描述】:

我已经使用 Cloudera Manager 和 CDH 5.4 在集群系统(1 个主服务器,2 个基于 Ubuntu 的高配置从属服务器)上成功安装了 Apache Hadoop

我想将数据从 Microsoft SQL 服务器导入 HBase(基于列的 hadoop 数据库),到目前为止,我已经从 SQL 服务器生成了 CSV 文件,并使用 HBase 浏览器(Cloudera Manager 中的 Hue 应用程序)将 CSV 导入 HBase。

如果有任何方法可以直接将 SQL 服务器数据导入 HBase,这对我会有帮助,我听说 Sqoop 应用程序已经将数据从 RDBMS 导入 Hadoop 系统(即使我没有尝试过,我认为这会导入CSV 文件到 Hadoop 系统中,而不是在 HBase 中)

如果上述情况有任何可能的方法,请告诉我。

【问题讨论】:

    标签: hadoop hbase


    【解决方案1】:

    Sqoop 确实支持通过在 sqoop 命令中使用 --hbase-table 选项将数据直接导入 HBASE。

    https://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html#_importing_data_into_hbase

    【讨论】:

    • 谢谢,我会尽力让你知道
    • 我已经尝试过这种方法,较小的表工作正常,我稍后会更新命令
    • sqoop 导入 --connect "jdbc:sqlserver://192.168.1.10:1433;database=DBName;username=sa;password=password" --table "SQLCustomers" --hbase-table " HBaseCustomers" --column-family "C1" --split-by "RowNo" -- --schema admin
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-17
    • 2013-09-09
    • 1970-01-01
    • 1970-01-01
    • 2012-10-05
    • 2022-06-19
    相关资源
    最近更新 更多