Nifi 处理器连接 Hive | HIVE_CLI_SERVICE_PROTOCOL_V7 异常

Question

我正在开发 Nifi 处理器来连接配置单元并使用控制器服务执行查询。我能够在 Nifi 中部署它并尝试运行它，但它失败并出现以下异常

RegisterSchema[id=6b1152ca-015f-1000-d7b9-e44e251aba70] failed to process due to java.lang.NoSuchFieldError: HIVE_CLI_SERVICE_PROTOCOL_V7; rolling back session: {}
java.lang.NoSuchFieldError: HIVE_CLI_SERVICE_PROTOCOL_V7
    at org.apache.hive.jdbc.HiveConnection.<init>(HiveConnection.java:175)
    at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:105)
    at org.apache.commons.dbcp.DriverConnectionFactory.createConnection(DriverConnectionFactory.java:38)
    at org.apache.commons.dbcp.PoolableConnectionFactory.makeObject(PoolableConnectionFactory.java:582)
    at org.apache.commons.dbcp.BasicDataSource.validateConnectionFactory(BasicDataSource.java:1556)
    at org.apache.commons.dbcp.BasicDataSource.createPoolableConnectionFactory(BasicDataSource.java:1545)
    at org.apache.commons.dbcp.BasicDataSource.createDataSource(BasicDataSource.java:1388)
    at org.apache.commons.dbcp.BasicDataSource.getConnection(BasicDataSource.java:1044)

下面是我的版本依赖

Hive 版本：1.1.0 Hadoop：2.7.3

<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-jdbc -->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>1.1.0-cdh5.10.0</version>

        </dependency>
            <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-jdbc -->
            <dependency>
                <groupId>org.apache.hive</groupId>
                <artifactId>hive-service</artifactId>
                <version>1.1.0-cdh5.10.0</version>
            </dependency>

这里有什么建议吗？

Answer 1

This SO question 似乎相关，并暗示 Apache Hive 1.1.0 对于您在 Hadoop 2.6.0 上运行的 Hive “太旧”。如果您只计划在特定于供应商的 Hadoop 版本上部署（例如 HDP 或 CDH，与 Apache Hadoop 相比），那么您可能希望将他们的存储库添加到 POM（请参阅顶级 NiFi POM 以获取示例）和将版本设置为与其 Hadoop 版本相对应的供应商特定版本。

例如，Apache NiFi 中现有的 Hive NAR 与较新版本的 HDP 不兼容，因为 HDP Hive 比相应的 Apache Hive 基线更新。因此，可以设置特定于供应商的配置文件（在此示例中为 -Phortonworks）并覆盖诸如 hive.version 和 hive.hadoop.version 之类的属性，设置为特定于供应商的值。