PyHive 忽略 Hive 配置

Question

我间歇性地收到错误消息

由于 VERTEX_FAILURE，DAG 没有成功。

通过 PyHive 运行 Hive 查询时。 Hive 在 EMR 集群上运行，因此在 hive-site.xml 文件中将 hive.vectorized.execution.enabled 设置为 false。

我可以通过 Hive 连接上的配置设置上述属性，并且每次执行它时我的查询都成功运行，但是我想确认这已经解决了问题，并且绝对是 hive 的情况-site.xml 被忽略。

任何人都可以确认这是否是预期的行为，或者是否有任何方法可以通过 PyHive 检查 Hive 配置，因为我无法找到任何方法？

谢谢！

Answer 1

PyHive 是一个连接到 HiveServer2 的 瘦客户端，就像 Java 或 C 客户端（通过 JDBC 或 ODBC）一样。它不使用本地机器上的任何 Hadoop 配置文件。 HS2 会话从服务器端设置的任何属性开始。
ImPyla BTW 也是如此。

因此，您有责任从您的 Python 代码中设置自定义会话属性，例如执行这条语句...
SET hive.vectorized.execution.enabled =False
...在运行 SELECT 之前。