您好，我正在HADOOP 接受培训。我有一个任务，我必须使用 sqoop 将表数据从 oracle(windows, 11g xe) 导入到 hdfs。我正在阅读以下文章。我的问题是如何将数据从 windows 准确导入 hdfs。通常我使用Winscp 将文件从Windows 传输到hdfs 机器。我已经从安装在 hdfs(cdh3) 机器上的MySql 导入数据。但我不知道将数据从 Windows 中的 Oracle 导入到 hdfs。请帮忙。
【问题讨论】：
标签： hadoop oracle11g sqoop bigdata
以下是逐步的过程：
1.连接 oracle sql 命令行登录与您的凭据：
例如用户名：系统密码：系统
（确保此用户具有所有管理权限或在 oracle 中以 sysdba 身份连接，创建一个具有所有权限的新用户） Create a user with all privileges in Oracle
在该用户下创建表并插入一些值并提交
2。现在我们需要一个用于将数据从 Oracle 传输到 HDFS 的连接器。 因此，我们需要下载 oracle -sqoop 连接器 jar 文件并将其放置在 CDH3 的以下路径中。（在您的命令中使用 sudo，同时在以下路径中复制，因为它需要 linux 中的管理员访问权限）
/usr/lib/sqoop/bin
http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-090769.html--下载链接--ojdbc6.jar
使用winscp将下载的jar从windows传输到CDH3。然后将其移动到CDH3中的上述路径。
3.Command：
sudo bin/sqoop import –connect jdbc:oracle:thin:system/system@192.168.XX.XX:1521:xe–username system -P –table system.emp –columns “ID” –target-dir /sqoopoutput1 -m 1
sqoopoutput 是 HDFS 中的输出文件，您将在其中获取数据，您可以根据自己的需要更改 dis
-m 1 ：这告诉了这个 sqoop 作业的映射器数量，这里是 1。
192.168.XX.XX:1521--你的windows机器的ip地址
【讨论】：
您不需要将数据从 oracle 导入本地机器。然后将其复制到 HDFS 机器上。然后将其导入HDFS。
Sqoop 在这里将您的 RDBMS 表导入 HDFS 目录。
使用命令：
sqoop import --connect 'jdbc:oracle:thin:@192.xx.xx.xx:1521:ORCL' --username testuser --password testpassword --table testtable --target-dir /tmp/testdata
转到运行 sqoop 的机器。转到终端（我相信它的 linux）。只需触发上述命令并检查 hdfs 中的--target-dir（我在示例命令中提到了/tmp/testdata）。您将在那里找到与您的 oracle 表对应的文件。
查看 sqoop docs 了解更多详情。
【讨论】：