如何将hadoop数据存储到oracle中

【问题标题】：How to store hadoop data into oracle如何将hadoop数据存储到oracle中
【发布时间】：2014-05-13 11:17:28
【问题描述】：

我的决赛桌在 Hive(HDFS) 中

1) 我已经厌倦了“Sqoop” 2) sql加载器 3) oraoop

所有的性能都非常令人沮丧，而我们正在将数据放入 sql 数据库中

必须导入 1 TB 文件，并且 1 GB 使用 sqoop、oraoop、sql 加载器在 5 节点集群中接管所有 8 分钟（1297372920 行）

【问题讨论】：

那么，你的问题在哪里？
通过 sqoop、oraoop、sql loader 将数据加载到 oracle 中，它们都需要相同的时间，所以我们如何快速将数据从 hadoop 导出到 oracle

标签： oracle hadoop mapreduce hive sqoop

【解决方案1】：

您的 Sqoop 导出到 Oracle 的速度将取决于各种因素，包括数据大小/特征、网络性能，也许最重要的是目标数据库服务器的配置。由于当前版本的 Sqoop 不允许在将数据导出到 Oracle 时使用“直接”，因此此用例中可用的优化是有限的。我强烈建议您查看文档 (http://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html#_literal_sqoop_export_literal) 并尝试让自己处于可以使用增量导入/导出的位置，因为您对使用 1tb 数据集的延迟不满意。或许可以先完全加载整个所需数据集，然后找到一种仅从那里增量更新的方法。

【讨论】：