【问题标题】:Connect from Java to Hive using JDBC使用 JDBC 从 Java 连接到 Hive
【发布时间】:2014-09-29 04:55:00
【问题描述】:

我正在尝试从 Java 连接到 Hive 服务器 1。 我前段时间在这个论坛上发现了一个问题,但它对我不起作用。 我正在使用此代码:

import java.sql.SQLException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.DriverManager;

public class HiveJdbcClient {
  private static String driverName = "org.apache.hive.jdbc.HiveDriver";

  /**
   * @param args
   * @throws SQLException
   */
  public static void main(String[] args) throws SQLException {
      try {
      Class.forName(driverName);
    } catch (ClassNotFoundException e) {
      // TODO Auto-generated catch block
      e.printStackTrace();
      System.exit(1);
    }
    //replace "hive" here with the name of the user the queries should run as
    Connection con = DriverManager.getConnection("jdbc:hive2://localhost:10000/default", "hive", "");
    Statement stmt = con.createStatement();
    String tableName = "testHiveDriverTable";
    stmt.execute("drop table if exists " + tableName);
    stmt.execute("create table " + tableName + " (key int, value string)");
    // show tables
    String sql = "show tables '" + tableName + "'";
    System.out.println("Running: " + sql);
    ResultSet res = stmt.executeQuery(sql);
    if (res.next()) {
      System.out.println(res.getString(1));
    }
       // describe table
    sql = "describe " + tableName;
    System.out.println("Running: " + sql);
    res = stmt.executeQuery(sql);
    while (res.next()) {
      System.out.println(res.getString(1) + "\t" + res.getString(2));
    }


// load data into table
// NOTE: filepath has to be local to the hive server
// NOTE: /tmp/a.txt is a ctrl-A separated file with two fields per line
String filepath = "/tmp/a.txt";
sql = "load data local inpath '" + filepath + "' into table " + tableName;
System.out.println("Running: " + sql);
stmt.execute(sql);

// select * query
sql = "select * from " + tableName;
System.out.println("Running: " + sql);
res = stmt.executeQuery(sql);
while (res.next()) {
  System.out.println(String.valueOf(res.getInt(1)) + "\t" + res.getString(2));
}

// regular hive query
sql = "select count(1) from " + tableName;
System.out.println("Running: " + sql);
res = stmt.executeQuery(sql);
while (res.next()) {
  System.out.println(res.getString(1));
}

这就是指南中显示的代码。我在 .java 的同一路径中复制了 hive-metastore、service、jdbc、exec、core 和更多 .jar。 当我编译它时,我得到这个消息:

java.lang.ClassNotFoundException: org.apache.hadoop.hive.jdbc.HiveDriver
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:190)
    at HiveJdbcClient.main(HiveJdbcClient.java:14)

有人知道这里发生了什么吗?

【问题讨论】:

  • 你确定驱动类是由当前类加载器加载的吗?我已经很多年没有做过 JDBC,但是应该有一个 Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver") 吗?还要确保 hive-jdbc JAR 文件在类路径中。

标签: java hadoop jdbc hive


【解决方案1】:

你需要改变两个地方

使用这个

private static String driverName = "org.apache.hive.jdbc.HiveDriver"

而不是

private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";

第二个是 用这个

jdbc:hive2://localhost:10000/default", "", ""

而不是

jdbc:hive://localhost:10000/default", "", ""

【讨论】:

    【解决方案2】:

    试试

    private static String driverName = "org.apache.hive.jdbc.HiveDriver"
    

    而不是

    private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
    

    希望您在代码中添加了Class.forName(driverName) 语句

    【讨论】:

    • 嗨!我已经更改了驱动程序名称,并且得到了相同的消息。你是什​​么意思 class.forName(driverName) ?谢谢:)
    • 就是通过java与你的HiveDriver建立连接。阅读Here
    • 您的意思是用 private static String driverName = "org.apache.hive.jdbc.HiveDriver" 替换为 class.forName(driverName) 吗?
    • San Krish,我已经输入了该代码,但它还不能工作:(
    【解决方案3】:

    我认为在您的问题中您说的是其 Hive 服务器 1。如果是这样,驱动程序名称和连接字符串应如下所示:

    "org.apache.hadoop.hive.jdbc.HiveDriver"
    
    jdbc:hive://localhost:10000/default", "", "")
    

    如果你使用的是 Hive server 2 ,那么应该如下:

    org.apache.hive.jdbc.HiveDriver
    
    jdbc:hive2://<host>:<port>/<db>
    

    我使用了与您提供的相同示例,并且我能够将 Hive 与我的 pom.xml 中的以下依赖项连接起来

       <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-metastore</artifactId>
            <version>0.12.0-cdh5.0.0</version>
        </dependency>
    
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-service</artifactId>
            <version>0.12.0-cdh5.0.0</version>
        </dependency>
    
        <!-- runtime Hive -->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-common</artifactId>
            <version>0.12.0-cdh5.0.0</version>
            <scope>runtime</scope>
        </dependency>
    
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-beeline</artifactId>
            <version>0.12.0-cdh5.0.0</version>
            <scope>runtime</scope>
        </dependency>
    
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>0.12.0-cdh5.0.0</version>
            <scope>runtime</scope>
        </dependency>
    
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-shims</artifactId>
            <version>0.12.0-cdh5.0.0</version>
            <scope>runtime</scope>
        </dependency>
    
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-serde</artifactId>
            <version>0.12.0-cdh5.0.0</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-contrib</artifactId>
            <version>0.12.0-cdh5.0.0</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
    

    【讨论】:

    • 嗨!您是否刚刚将这些依赖项添加到存储在 hive 文件夹中的“pom.xml”中?
    • 不,在我上面java应用的maven项目中。
    • satha,我现在收到了这个消息... 原因:java.sql.SQLException:无法建立与 localhost:10000 的连接/默认值:java.net.ConnectException:连接被拒绝跨度>
    • 这意味着您的配置单元服务器已关闭。或者请使用正确的配置单元服务器详细信息。
    • 我知道这是一个古老且已解决的问题,但我遇到了同样的问题并仅使用两个依赖项(hive sql 和 hadoop 核心)解决了它。我希望这对将来的任何人都有帮助。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-11-24
    • 2015-08-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多