使用 Sqoop 将数据加载到 HDFS

【问题标题】：Loading data onto HDFS using Sqoop使用 Sqoop 将数据加载到 HDFS
【发布时间】：2014-11-25 15:21:47
【问题描述】：

我正在寻找将数据移动到 HDFS 系统的方法，想知道是否可以使用 Apache Sqoop 从外部 REST 服务中提取/提取数据？

【问题讨论】：

标签： hdfs sqoop webhdfs sqoop2

【解决方案1】：

我最喜欢从 REST 服务中提取数据的方式：

卷曲 http:// | hdfs -put - /my/hdfs/目录

【讨论】：

【解决方案2】：

来自http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html

Sqoop 是一种旨在在 Hadoop 和关系数据库之间传输数据的工具。您可以使用 Sqoop 将数据从 MySQL 或 Oracle 等关系数据库管理系统 (RDBMS) 导入 Hadoop 分布式文件系统 (HDFS)，在 Hadoop MapReduce 中转换数据，然后将数据导出回 RDBMS。

所以它不支持从 REST 服务导入数据。

【讨论】：