将数据从平面文件或现有数据库加载到 Hive

Question

我们正在组织中设置 Hadoop 和 Hive。 我们还将拥有由数据生成器工具创建的示例数据。数据将在 1 TB 左右。 我的问题是 - 我必须将该数据加载到 Hive 和 Hadoop 中。为此我需要遵循什么流程？

我们还将在 Hadoop 中安装 HBase。 我们需要创建与 SQL Server 中现在相同的数据库设计......但使用 Hive。 Cz 将此数据加载到 hive 后，我们希望使用 Business Objects 4.1 作为前端来创建报告。 挑战是将样本数据加载到 Hive 中。 请帮助我，因为我们希望尽快完成所有事情。

Answer 1

• 首先在 HDFS 中提取数据
• 使用 Hive 外部表，指向您提取数据的位置，即您的 hdfs 目录。
• 您已准备好从您在 Hive 中创建的表中查询数据。
• 祝你好运。

Answer 2

对于第一种情况，您需要将数据放入 hdfs。

1. 将您的数据文件传输到客户端节点（应用程序节点）
2. 将您的文件放入分发文件系统 (hdfs dfs -put ...)
3. 创建一个指向您上传这些文件的 hdfs 目录的外部表。您的数据具有某种结构。例如用分号分隔。
4. 现在您可以使用 sql 查询对数据进行操作。

对于第二种情况，您可以创建另一个配置单元表（使用 HBaseStorageHandler ，https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration）并使用 Insert 语句从第一个表加载。

希望对你有帮助。