火花上的蜂巢在色调中不起作用答案

【问题标题】：Hive on spark doesn't work in hue火花上的蜂巢在色调中不起作用
【发布时间】：2016-08-17 12:29:43
【问题描述】：

我正在尝试使用 hue 界面触发 hive on spark。从命令行运行时，该作业完美运行，但是当我尝试从 hue 运行时，它会引发异常。在hue中，我主要尝试了两件事：

1) 当我使用 set 命令给出 .hql 文件中的所有属性时

set spark.home=/usr/lib/spark;
set hive.execution.engine=spark; 
set spark.eventLog.enabled=true;
add jar /usr/lib/spark/assembly/lib/spark-assembly-1.5.0-cdh5.5.1-hadoop2.6.0-cdh5.5.1.jar;
set spark.eventLog.dir=hdfs://10.11.50.81:8020/tmp/;
set spark.executor.memory=2899102923;

我收到一个错误

ERROR : Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Unsupported execution engine: Spark.  Please set hive.execution.engine=mr)'
org.apache.hadoop.hive.ql.metadata.HiveException: Unsupported execution engine: Spark.  Please set hive.execution.engine=mr

2) 当我在 hue 属性中给出属性时，它只适用于 mr 引擎，但不适用于 spark 执行引擎。

任何帮助将不胜感激

【问题讨论】：

你有什么好的理由使用oozie标签吗？！？
我正在创建一个 oozie 工作流，这就是 oozie 标签的原因

标签： hive oozie hiveql oozie-coordinator

【解决方案1】：

我已经通过在 oozie 中使用 shell 操作解决了这个问题。这个 shell 操作调用一个带有我的 sql 文件的 pyspark 操作。

即使作业在 jobtracker 中显示为 MR，spark 历史服务器也会将其识别为 spark 动作并实现输出。

外壳文件：

#!/bin/bash
export PYTHONPATH=`pwd`
spark-submit --master local testabc.py

python 文件：

from pyspark.sql import HiveContext
from pyspark import SparkContext
sc = SparkContext();
sqlContext = HiveContext(sc)
result = sqlContext.sql("insert into table testing_oozie.table2 select * from testing_oozie.table1 ");
result.show()

【讨论】：