【发布时间】:2016-12-08 04:12:18
【问题描述】:
当我运行以下命令时:
val df1 = sqlContext.read.format("orc").load(myPath)
df1.columns.map(m => println(m))
这些列打印为“_col0”、“_col1”、“_col2”等。而不是它们的真实名称,例如“empno”、“name”、“deptno”。
当我在 Hive 中“描述 mytable”时,它会正确打印列名,但是当我运行“orcfiledump”时,它也会显示 _col0、_col1、_col2。我是否必须指定“读取模式”或其他内容?如果是,我该如何在 Spark/Scala 中做到这一点?
hive --orcfiledump /apps/hive/warehouse/mydb.db/mytable1
.....
fieldNames: "_col0"
fieldNames: "_col1"
fieldNames: "_col2"
注意:我创建的表如下:
create table mydb.mytable1 (empno int, name VARCHAR(20), deptno int) stored as orc;
注意:这不是此问题 (Hadoop ORC file - How it works - How to fetch metadata) 的重复,因为答案告诉我使用“Hive”并且我已经在使用 HiveContext,如下所示:
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
顺便说一句,我使用的是我自己的 hive-site.xml,其中包含以下内容:
<configuration>
<property>
<name>hive.metastore.uris</name>
<value>thrift://sandbox.hortonworks.com:9083</value>
</property>
</configuration>
【问题讨论】:
-
我已经读过这篇文章,但它说..“使用 Hive 和/或 HCatalog 来创建、阅读......”。但我正在使用 HiveContext 来阅读。那么这个答案对我有什么帮助?请解释一下。
-
由于模式存储在 Metastore 中,这很可能意味着您不会对两个操作使用相同的 Metastore,对吧?
-
好点。但是我使用的是我自己的 hive-site.xml(添加到上面的描述中),其中我从 /etc/hive/conf/hive-site.xml 复制了“hive.metastore.uris”
-
我会从仔细检查这个配置是否正确应用开始。您还可以检查 Spark 中的目录,看看是否可以从那里访问元数据。如果是,您就会知道在哪里搜索。
标签: scala apache-spark hive orc hortonworks-sandbox