【问题标题】:Issue connecting to Hive using JDBC with Kerberos authentication使用带有 Kerberos 身份验证的 JDBC 连接到 Hive 的问题
【发布时间】:2016-01-20 11:35:11
【问题描述】:

我正在尝试编写一个程序以使用带有 Kerberos 身份验证的 Jdbc 驱动程序连接到 Hive。我的程序如下:

public static void main(String a[])
{

    ...

    connectionString_ = "jdbc:hive2://cdh-542-kerberos.domain.com:10000/default;principal=hive/cdh-542-kerberos.domain.com@REALMDOMAIN";

    UserGroupInformation ugi = createUgi();

    connection = ugi.doAs(new PrivilegedExceptionAction<Connection>() {
        public Connection run() throws Exception {
            Connection connection = null;
            Class.forName(jdbcDriverClass_);
            connection =  DriverManager.getConnection(connectionString_);
            return connection;
        }
    });
    ... 
}



public static UserGroupInformation createUgi() 
{
    try{
        UserGroupInformation ugi = null;
        
        String principal = "hive/cdh-542-kerberos.domain.com@REALMDOMAIN"
        String keyTabLocation = "hive.keytab"
        
        logger.debug("principal:" + principal);
        logger.debug("keyTabLocation:" + keyTabLocation);
        ugi =  createkerbUser( principal, keyTabLocation);
        return ugi;
    }
    catch(Exception e)
    {
        throw new BDEToolSecurityException(BDEToolSecurityException.SECURITYEXCPETION, e);
    }
}

public static UserGroupInformation createkerbUser( String principal, String keyTabFilePath) 
{
    UserGroupInformation app_ugi = UserGroupInformation.loginUserFromKeytabAndReturnUGI(principal, keyTabFilePath);
    String user = getUserfromPrincipal(principal);
    
    if(user.trim().length() > 0){
        UserGroupInformation proxy_ugi = UserGroupInformation.createProxyUser(user, app_ugi);
        return proxy_ugi;
    }
    return app_ugi;
}

private static String getUserfromPrincipal(String principal)
{
    String user = Constants.emptyString;
    
    if(principal.contains(Constants.fSlash)){
        String[]  tokens = principal.split(Constants.fSlash);           
        if(tokens.length > 1){
            user = tokens[0];
        }            
    }       
    return user;
}

此代码在尝试ugi.doAs() ... 时失败

java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://cdh-542-kerberos.informatica.com:10000/default;principal=hive/cdh-542-kerberos.informatica.com@INFAQAKERB: GSS initiate failed
    at org.apache.hive.jdbc.HiveConnection.openTransport(HiveConnection.java:215)
    at org.apache.hive.jdbc.HiveConnection.<init>(HiveConnection.java:163)
    at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:105)
    at java.sql.DriverManager.getConnection(DriverManager.java:571)
    at java.sql.DriverManager.getConnection(DriverManager.java:233)
    at com.informatica.gcs.tools.bde.connectivity.tool.hive.HiveJdbcTest$1.run(HiveJdbcTest.java:148)
    at com.informatica.gcs.tools.bde.connectivity.tool.hive.HiveJdbcTest$1.run(HiveJdbcTest.java:144)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671)
    ... 6 more
Caused by: org.apache.thrift.transport.TTransportException: GSS initiate failed
    at org.apache.thrift.transport.TSaslTransport.sendAndThrowMessage(TSaslTransport.java:232)
    at org.apache.thrift.transport.TSaslTransport.open(TSaslTransport.java:316)
    at org.apache.thrift.transport.TSaslClientTransport.open(TSaslClientTransport.java:37)
    at org.apache.hadoop.hive.thrift.client.TUGIAssumingTransport$1.run(TUGIAssumingTransport.java:52)
    at org.apache.hadoop.hive.thrift.client.TUGIAssumingTransport$1.run(TUGIAssumingTransport.java:49)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671)
    at org.apache.hadoop.hive.thrift.client.TUGIAssumingTransport.open(TUGIAssumingTransport.java:49)
    at org.apache.hive.jdbc.HiveConnection.openTransport(HiveConnection.java:190)
    ... 15 more

keytab 和princiapl 似乎都是正确的。我可以成功运行命令

kinit -k -t hive.keytab hive/cdh-542-kerberos.informatica.com@INFAQAKERB

任何人都可以在这方面进一步帮助我。我在这个问题上被困了将近一个星期。如果需要,我可以提供更多信息。

【问题讨论】:

  • GSS 启动失败此错误通常发生在您的 kerboros 票证过期时。每次运行 java 代码时尝试重新验证令牌。
  • 我已经尝试使用 kninit 命令重新生成票证。但没有运气。
  • 您使用的是哪种类型的 JVM? KDC 期望什么样的加密? (剧透:Oracle/Sun JRE 默认不支持 AES256,您必须下载“无限强度加密”)
  • 您是否尝试使用 JAAS 跟踪标志 -Djava.security.debug=gssloginconfig,configfile,configparser,logincontext 来调试您的问题?

标签: java hadoop jdbc hive cloudera-cdh


【解决方案1】:

这不是缺票/过期票的问题。否则,错误堆栈也会在“GSS 启动失败”之后立即读取“由 GSSException 引起:未提供有效凭据”。

可能的问题:

  1. 您尝试连接的服务器(Hive 服务器 2,端口 10000)和您的客户端计算机(建立 jdbc:hive 连接)似乎位于不同的域中。是这样吗?

  2. 要确认您的服务器和客户端可以在该域中进行身份验证,并且其域配置正确(krb5.conf 等),请执行

    $ kinit -k -t hive.keytab hive/cdh-542-kerberos.informatica.com@INFAQAKERB (like you did)
    $ klist 
    
    • 在服务器端和客户端执行此操作并在此处复制粘贴结果。
  3. “org.apache.hive.jdbc.HiveConnection.openTransport(HiveConnection.java:215)”可以提供线索,表明它可能是从 HS2 服务器到域控制器服务器的防火墙/域配置问题。虽然您可以在客户端创建票证,但 HS2 服务器无法对其进行验证。

  4. 在您的代码 sn-ps 上 - 查看 Examples of connecting to Kerberos Hive in JDBC。

    您的代码似乎至少丢失了:

    UserGroupInformation.setConfiguration(conf);
    

    不确定它是否与您的用例相关...

如果您能够解决此问题,请及时通知我们。

【讨论】:

    【解决方案2】:

    对于 hive,您不应该使用 proxyuser 来执行 ugi.doAs。将代码修改为

    public static UserGroupInformation createkerbUser( String principal, String keyTabFilePath) 
    {
        return  UserGroupInformation.loginUserFromKeytabAndReturnUGI(principal, keyTabFilePath);
    }
    

    或

        public static UserGroupInformation createkerbUser( String principal, String keyTabFilePath) 
            {
                UserGroupInformation.loginUserFromKeytab(principal, keyTabFilePath);
                return UserGroupInformation.getLoginUser();
            }
    

    如果你需要做模拟,附加

    hive.server2.proxy.user=&lt;proxyUser&gt;

    (对于 apache 驱动程序)到 JDBC 连接字符串。

    PS:在集群配置中,如果您打算使用“代理用户”属性,hive 用户应该具有模拟不同用户的权限。

    【讨论】:

      猜你喜欢
      • 2016-10-09
      • 1970-01-01
      • 1970-01-01
      • 2020-06-14
      • 2018-03-21
      • 2022-01-17
      • 2021-08-06
      • 2017-07-13
      • 1970-01-01
      相关资源
      最近更新 更多