【问题标题】:How to start hiveserver2 as service如何将 hiveserver2 作为服务启动
【发布时间】:2021-09-17 13:25:54
【问题描述】:

大家好,我已经在我的网络中设置了多节点集群(即 5 个节点),它工作正常。 现在我想使用 hive 从集群中插入和检索数据,因此我设置了 hive 最新版本 apache-hive-0.14.0-bin.tar.gz(即 0.14.0 > 来自 here ) 在我的主节点上,如 this 文章中所述。

我还编写了一个 java 客户端类,它将 jdbc 连接到 hive 并使用 hive 将数据插入 HDFS。

HiveJdbcClient.Java

public class HiveJdbcClient {

private static final String DRIVER_NAME = "org.apache.hive.jdbc.HiveDriver";
    private static final String HIVE_URL = "jdbc:hive2://x.x.x.x:10000/default";
    private static final String HIVE_UNAME = "";
    private static final String HIVE_PWD = "";
    private static Connection con;

    private HiveJdbcClient() {}

    public static Connection getConnection() {
        try {
            if (con == null) {
                synchronized (HiveJdbcClient.class) {
                    if (con == null) {
                        Class.forName(DRIVER_NAME);
                        con = DriverManager.getConnection(HIVE_URL,
                                HIVE_UNAME, HIVE_PWD);
                        System.out.println("Successfuly Connected to database...!");
                    }
                }// End of synchronized block.
            }// End of if block.
        } catch (SQLException e) {
            System.out.println("Can Not able to connect to database pls check your settings \n" + e);
        } catch (ClassNotFoundException e) {
            System.out.println("Can Not able to connect to database pls check your settings \n" + e);
        }// End of try-catch block. 
        return con;
    }// End of getConnection() Method.

    public static ResultSet executeQuery(String sql) {
        ResultSet set = null;
        try {
            if (sql != null) {
                set = getConnection().createStatement().executeQuery(sql);
            }
        } catch (SQLException e) {
            System.out.println("Error while executing query " + e);
        }// End of try-catch block.
        return set;
    }// End of executeQuery() Method.

    public static void main(String[] args) throws ParseException, SQLException {
        ResultSet res = executeQuery("SELECT * FROM mytable");
        while (res.next()) {
            System.out.println(String.valueOf(res.getString(1)) + '\t'
                    + String.valueOf(res.getFloat(2)) + '\t'
                    + String.valueOf(res.getString(3)));
        }
    }
}//End of HiveJdbcClient Class.

当我在终端中运行以下命令时,我的应用程序能够连接到服务器

$HIVE_HOME/bin/hiveserver2
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hadoop-2.6.0/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/apache-hive-0.14.0-bin/lib/hive-jdbc-0.14.0-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
OK 

但是当我关闭此终端时,我的应用程序会出现以下错误

错误

java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://X.X.X.X:10000/default: java.net.ConnectException: Connection refused

这意味着我必须在我的主节点上将 hiveserver2 作为服务运行。

任何人都可以帮助我将此 hiveserver2 作为服务运行。或任何可以帮助我将 hiveserver2 作为服务运行的链接。

【问题讨论】:

    标签: java hadoop hive apache-zookeeper hadoop2


    【解决方案1】:

    您是否尝试过 --service 选项?

    $HIVE_HOME/bin/hive --service hiveserver2 &
    

    【讨论】:

      【解决方案2】:

      对于 1.2 及以上版本,hive 已弃用,应直接使用 hiveserver2 命令。

      所以现在在后台启动 hiveserver2 的正确方法是:

      nohup hiveserver2 &
      

      或者输出到日志文件:

      nohup hiveserver2 > hive.log &
      

      来源:https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-BuildingHivefromSource - 它说“调用 hive”已被弃用。

      【讨论】:

        【解决方案3】:

        试试这个

        nohup hive --service hiveserver2 &
        

        【讨论】:

          【解决方案4】:

          随着 systemd 成为主要的守护进程管理工具,您可以使用以下 systemd 服务文件将 hiveserver2 设置为 systemd 服务。

          [Unit]
          Description=hiveserver2 service
          After=syslog.target
          After=network.target
          
          [Service]
          Type=simple
          
          User=hadoop
          Group=hadoop
          
          ExecStart=/home/hadoop/apache-hive-1.2.2-bin/bin/hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.root.logger=INFO,console
          WorkingDirectory=/home/hadoop/
          
          [Install]
          WantedBy=multi-user.target 
          

          另外,配置${HIVE_HOME}/conf/hive-conf.sh 使hive 识别hadoop 安装(其他配置可以在${HIVE_HOME}/conf/hive-conf.sh.template 中找到)

          export PATH=${bin}/../../hadoop-2.10.1/bin:$PATH
          

          【讨论】:

            猜你喜欢
            • 1970-01-01
            • 1970-01-01
            • 1970-01-01
            • 1970-01-01
            • 1970-01-01
            • 1970-01-01
            • 2017-03-06
            • 1970-01-01
            • 2011-06-07
            相关资源
            最近更新 更多