如何预处理数据并加载到 hive

Question

我完成了我的 hadoop 课程，现在我想在 Hadoop 上工作。我想知道从数据摄取到可视化数据的工作流程。

我知道生态系统组件是如何工作的，并且我已经构建了具有 8 个数据节点和 1 个名称节点的 hadoop 集群： 1 namenode --Resourcemanager,Namenode,secondarynamenode,hive 8个datanodes--datanode,Nodemanager

我想知道以下几点：

1. 我得到了数据 .tar 结构化文件，前 4 行有描述。我有点困惑如何处理这种类型的数据。 1.a 我可以直接处理数据，因为这些是 tar 文件。如果是，如何删除前四行中的数据，我应该解压缩并删除前 4 行 1.b，我想使用 hive 处理这些数据。

请建议我如何做到这一点。

提前致谢。

Answer 1

我可以直接处理数据吗，因为这些是 tar 文件。

是的，请参阅以下解决方案。

如果是，如何去掉前四行的数据

从Hive v0.13.0开始，有一个table属性，tblproperties ("skip.header.line.count"="1")同时创建一个表告诉Hive要忽略的行数。忽略前四行 - tblproperties ("skip.header.line.count"="4")

CREATE TABLE raw (line STRING)
   ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n';

CREATE TABLE raw_sequence (line STRING)
   STORED AS SEQUENCEFILE
   tblproperties("skip.header.line.count"="4");

LOAD DATA LOCAL INPATH '/tmp/test.tar' INTO TABLE raw;

SET hive.exec.compress.output=true;
SET io.seqfile.compression.type=BLOCK; -- NONE/RECORD/BLOCK (see below)

INSERT OVERWRITE TABLE raw_sequence SELECT * FROM raw;

查看数据：

select * from raw_sequence

参考：Compressed Data Storage

Answer 2

按照以下步骤实现您的目标：

1. 将数据（即.tar 文件）复制到安装了hadoop 的客户端系统中。
2. 解压文件并手动删除描述并将其保存在本地。

3. 根据描述在 hive 中创建元数据（即表）。
   例如：如果描述包含 emp_id、emp_no 等，则使用此信息在 hive 中创建表，也记下数据文件中使用的字段分隔符，并在创建表查询中使用相应的字段分隔符。假设文件包含用逗号分隔的两列，那么下面是在 hive 中创建表的语法。

     Create table tablename (emp_id int, emp_no int)
     Row Format Delimited
     Fields Terminated by ','
   

4. 由于数据是结构化格式，您可以使用以下命令将数据加载到配置单元表中。 LOAD DATA LOCAL INPATH '/LOCALFILEPATH' INTO TABLE TABLENAME.

5. 现在，本地数据将被移动到 hdfs 并加载到 hive 表中。

6. 最后可以使用SELECT * FROM TABLENAME;查询hive表