如何使用 spark 在 Hive 中正确加载数据？

Question

我想输入看起来像-

的数据

"58;""management"";""married"";""tertiary"";""no"";2143;""yes"";""no"";""unknown"";5;""may"";261;1;-1;0;""unknown"";""no"""
"44;""technician"";""single"";""secondary"";""no"";29;""yes"";""no"";""unknown"";5;""may"";151;1;-1;0;""unknown"";""no"""
"33;""entrepreneur"";""married"";""secondary"";""no"";2;""yes"";""yes"";""unknown"";5;""may"";76;1;-1;0;""unknown"";""no"""
"47;""blue-collar"";""married"";""unknown"";""no"";1506;""yes"";""no"";""unknown"";5;""may"";92;1;-1;0;""unknown"";""no"""

我的创建表语句是 as-

sqlContext.sql("create table dummy11(age int, job string, marital string, education string, default string, housing string, loan string, contact string, month string, day_of_week string, duration int, campaign int, pday int, previous int, poutcome string, emp_var_rate int, cons_price_idx int, cons_conf_idx int, euribor3m int, nr_employed int, y string)row format delimited fields terminated by ';'")

当我运行语句时-

sqlContext.sql("from dummy11 select age").show()

或

sqlContext.sql("from dummy11 select y").show()

它返回 NULL 值而不是正确的值，尽管其他值是可见的

那我该如何纠正呢？

Answer 1

由于您使用的是 Hive QL 语法，因此您需要在处理之前验证输入数据。

在您的数据中，很少有记录的列数少于 DDL 中定义的实际列数。

因此，对于这些记录，其余列（从最后一个）设置为 NULL；因为该行没有足够的值。

这就是为什么，最后一列 y 的值是 NULL。

另外，在 DDL 中，第一个字段的数据类型是 INT；但在记录中，第一个字段值为：

"58
"44
"33

由于"，这些值没有被类型转换为INT；将字段值设置为NULL。

根据您提供的 DDL 和数据，值设置为：

age             "58
job             ""management""
marital         ""married""
education       ""tertiary""
default         ""no""
housing         2143
loan            ""yes""
contact         ""no""
month           ""unknown""
day_of_week     5
duration        ""may""
campaign        261
pday            1
previous        -1
poutcome        0
emp_var_rate    ""unknown""
cons_price_idx  ""no""
cons_price_idx  NULL
cons_conf_idx   NULL
euribor3m int   NULL
nr_employed     NULL
y               NULL

检查最后 5 列的 NULL 值。

因此，如果这不是预期的，您需要先验证数据，然后再继续。

对于age 列，如果需要INT 类型，请清理数据以删除不需要的" 字符。

---

解决方法

作为解决方法，您可以在开始时将age 定义为STRING，因为使用火花转换来解析第一个字段并将其转换为INT

import org.apache.spark.sql.functions._
val ageInINT = udf { (make: String) =>
  Integer.parseInt(make.substring(1))
}
df.withColumn("ageInINT", ageInINT(df("age"))).show

df 是您在执行 hive DDL 时创建的数据框，列 age 为 sTRING。

现在，您可以对新列 ageInINT 执行操作，而不是对具有 INTEGER 值的列 age 执行操作。

Answer 2

由于您的数据在年龄之前包含"，因此它被视为字符串。在代码中，您已将其定义为 int，因此 sql 解析器正在尝试查找整数值，因此您将获得 null 记录。将age int 更改为age string，您将能够看到结果。

请参阅下面使用 Spark HiveContext 的工作示例。

import org.apache.spark.sql.hive.HiveContext;
import org.apache.spark.sql.types._
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

val sc = new SparkContext(conf)
val sqlContext = new HiveContext(sc)

sqlContext.sql("create external table dummy11(age string, job string, marital string, education string, default string, housing string, loan string, contact string, month string, day_of_week string, duration int, campaign int, pday int, previous int, poutcome string, emp_var_rate int, cons_price_idx int, cons_conf_idx int, euribor3m int, nr_employed int, y string)row format delimited fields terminated by ';' location '/user/skumar143/stack/'")
sqlContext.sql("select age, job from dummy11").show()

它的输出：

+---+----------------+
|age|             job|
+---+----------------+
|"58|  ""management""|
|"44|  ""technician""|
|"33|""entrepreneur""|
|"47| ""blue-collar""|
+---+----------------+