Flink + Kafka + Kerberos：在 JAAS 配置中找不到“KafkaClient”条目

Question

我正在使用 Flink 1.8 尝试连接到 Kerberized Kafka Broker。

我在 jaas.conf 中设置 KafkaClient 条目，如下所示：

KafkaClient {
    com.sun.security.auth.module.Krb5LoginModule required
    useTicketCache=true
    renewTicket=true
    serviceName="kafka";
};
Client {  
   com.sun.security.auth.module.Krb5LoginModule required
   useTicketCache=true
   renewTicket=true
   serviceName="zookeeper";
};

并通过在代码中设置此属性来指向该 jaas 文件，该属性将与其余所需属性（bootstrap.servers 等）一起传递给 Kafka Consumer...

Properties properties = new Properties();
properties.setProperty("bootstrap.servers", args[0]);
properties.setProperty("security.protocol", "SASL_PLAINTEXT");
properties.setProperty("java.security.auth.login.config","/usr/hdp/current/kafka-broker/conf/kafka_client_jaas.conf");

我还尝试在启动 flink 应用程序之前在 KAFKA_OPTS 环境变量上指定 jaas.conf 路径。

我得到的错误是：

java.lang.IllegalArgumentException：找不到“KafkaClient” JAAS 配置中的条目。系统属性 'java.security.auth.login.config' 是 /tmp/jaas-6335181385007718768.conf

我不知道 jaas.conf 文件是否应该自动放入临时文件，或者它没有很好地检测指定的配置文件。临时文件在发生错误后被删除，但在 tmp 上有一些文件来自以前的启动，它们不包含任何代码（只有一些默认的 cmets 和空配置）。

Answer 1

设置有两个问题；首先，传递 jaas conf 文件位置，然后传递 jaas conf 文件内容

java.security.auth.login.config 是系统属性。所以你应该通过在代码中设置系统属性来传递

System.setProperty("java.security.auth.login.config", "/usr/hdp/current/kafka-broker/conf/kafka_client_jaas.conf");

或通过在运行时设置 JVM 参数 -D。

-Djava.security.auth.login.config=/usr/hdp/current/kafka-broker/conf/kafka_client_jaas.conf

jaas 文件条目应配置为使用 keytabs 或用户名/密码

kafka-keytab-auth-jaas.conf

KafkaClient {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab = true   
    useTicketCache=false
    storeKey = true
    keyTab="/tmp/kafka.service.keytab"
    principal="****@REALM"
    serviceName="kafka";
};

kafka-password-auth-jaas.conf

KafkaClient {
  org.apache.kafka.common.security.plain.PlainLoginModule required
  username="user"
  password="userpassword";
};