一,通过sqoop将MySQL里面的数据加载到HDFS

先查看有哪些数据库

sqoop简单使用

查看表person

sqoop简单使用

 

sqoop list-databases --connect jdbc:mysql://ly-p2p4:3306/test --username root -password 123456

sqoop简单使用

 

 将数据库test下的person表加载到HDFS下的sqoop目录下

sqoop简单使用

sqoop简单使用

结果

sqoop简单使用

sqoop简单使用

 

 导入表的子集

sqoop import --connect jdbc:mysql://ly-p2p4:3306/test \--username root -password 123456 --table person --m 1 \--where "age"='10' --target -dir /sqoop/test/

sqoop简单使用

查看

 sqoop简单使用

sqoop简单使用

 

 增量导入(即只导入新添加的那部分数据) 

--incremental <mode> 选择模式,有:append 和 lastmodified

--check-column <column name> 检查那一列的元素,比如 id

--last-value <last check column value> 原来数据最后一条的参数,比如 最后一条id为3,则填3

先给表person里面插入一条数据

sqoop简单使用

 sqoop import --connect jdbc:mysql://ly-p2p4:3306/test \--username root -password 123456 --table person --m 1 \--target-dir /sqoop/ \--incremental append \--check-column id \--last-value 3

 sqoop简单使用

sqoop简单使用

查询

sqoop简单使用

sqoop简单使用

注意:参数-append将数据追加到HDFS已经存在的数据集中。使用该参数时,sqoop将数据先导入到一个临时目录中,然后重新给文件命名到一个正式的目录中,以避免和该目录中已经存在的文件重名

相关文章:

  • 2022-12-23
  • 2021-08-18
  • 2021-08-11
  • 2021-06-14
  • 2021-06-21
  • 2022-02-02
  • 2022-01-11
猜你喜欢
  • 2021-11-18
  • 2021-12-21
  • 2021-07-09
  • 2021-12-15
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案