使用 crontab 通过脚本运行 hive 查询答案

【问题标题】：Running hive query through the script by using crontab使用 crontab 通过脚本运行 hive 查询
【发布时间】：2015-09-24 04:09:54
【问题描述】：

您好，我正在通过 shell 脚本执行 hive 查询，它完美地执行，同时我正在通过 crontab 调度相同的脚本，它显示了一个错误。我的剧本是休闲的

导出 JAVA_HOME=/install/bi/jdk hiveQuery=/install/bi/hive/bin/hive -e " set hive.security.authorization.enabled=false; select * from default.xmlsample;"

回显 $hiveQuery

错误是

使用 jar:file:/install/bi/hive/lib/hive-common-0.12.0.jar!/hive-log4j.properties 中的配置初始化日志失败：语义异常 [错误 10001]：第 2:14 行未找到表“xmlsample” 任何人都可以知道这一点，请帮助我

【问题讨论】：

标签： shell hive crontab

【解决方案1】：

“未找到表”错误消息表明，当您运行 cron 时，未找到 Hive 元存储。 Metastore 是包含将表定义映射到 HDFS 中的数据的元数据的数据库。它通常是一个单独的 RDBMS 进程，例如 MySQL 或 PostgreSQL。元存储的详细信息通常保存在“hive-site.xml”文件中。

您的 cron 进程似乎没有找到与您自己运行脚本时相同的元存储。可能是在运行 cron 作业的上下文中未设置诸如 $HADOOP_HOME 或 $HIVE_HOME 之类的环境变量。

【讨论】：