减少许多 hive -e 调用的 hive 启动时间

Question

我以这种方式从命令行调用 hive -e 数百次：

cat hive_script.hql | parallel --gnu hive -e '{}' 

hive_script.hql 中的每一行都可以独立运行，并且可以以任何顺序运行。

有没有--hiveconf 参数可以减少启动时间？ Apache 网页似乎暗示可能在

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+VariableSubstitution

"This is frustrating as Hive becomes closely coupled with scripting languages. The Hive startup time of a couple seconds is non-trivial when doing thousands of manipulations such as multiple hive -e invocations."

Answer 1

您无法加快 hive -e 的速度，但可以将多个查询放在一个脚本中。

如果这不起作用，您将需要查看 HiveServer2 并从 JDBC 客户端调用查询。