CDH_5.15.1 开启Kerberos安全认证

• KDC的安装及配置
  1. 1. 安装KDC服务

yum install krb5-server krb5-libs krb5-auth-dialog krb5-workstation

1. 1. 1. 配置KDC服务

vim /etc/krb5.conf

1. 1. 1. 修改/var/kerberos/krb5kdc/kadm5.acl、kdc.conf

1. 1. 1. 创建Kerberos数据库

kdb5_util create –r FLINK.COM -s

1. 1. 1. 创建Kerberos管理账号

kadmin.local

 addprinc admin/admin\@FLINK.COM

exit

1. 1. 1. 添加自启动服务，启动服务

chkconfig –level 35 krb5kdc on

chkconfig –level 35 kadmin on

/etc/init.d/krb5kdc start

/etc/init.d/kadmin start

1. 1. 1. 测试管理员账号

 

1. 1. 1. 集群所有节点安装Kerberos客户端

yum install krb5-libs krb5-workstation

CM节点安装额外组件

yum -y install openldap-clients

1. 1. 1. 拷贝配置文件

将KDC Server上的krb5.conf文件拷贝到所有Kerberos客户端(即集群所有节点)

scp /etc/krb5.conf flink-2:/etc

scp /etc/krb5.conf flink-3:/etc

• CDH集群启用Kerberos
  1. 1. KDC添加Cloudera Manager管理员账号

kadmin.local

addprinc cloudera-scm/admin\@FLINK.COM

exit

1. 1. 1. 配置启用Kerberos

进入Cloudera Manager的“管理”-> “安全”界面->启用Kerberos

1. 1. 1. 检查信息

1. 1. 1. 配置KDC信息

配置KDC类型、KDC服务器、KDC Realm、加密类型以及待创建的Service 
Principal（hdfs，yarn,，hbase，hive等）的更新生命期等，点击“继续”

我这里配置的是FLINK.COM

1. 1. 1. KRB5配置

不建议使用Cloudera Manager来管理krb5.conf，点击继续

1. 1. 1. 输入CM的Kerberos账号

必须和之前创建的账号一致，点击“继续”，等待启用Kerberos完成，点击“继续”

cloudera-scm/admin@FLINK.COM kerberos

1. 1. 1. Kerberos主体

1. 1. 1. 重启集群

1. 1. 1. 重启成功

参考网址：https://blog.csdn.net/cy309173854/article/details/79288491

• CDH开启Kerberos是不包含kafka的，kafka开启kerberos需要额外配置

主机 à  parcel

1. 1. 1. Kafka开启kerberos之后的生产者和消费者的使用

准备jaas.conf、consumer.properties、producer.properties文件

Jaas.conf

Consumer.properties

Producer.properties

配置环境变量：

vim /etc/profile

export KAFKA_OPTS=-Djava.security.auth.login.config=/***/jaas.conf

source /etc/profile

使用命令：

消费者

/bin/kafka-console-consumer --bootstrap-server flink-1:9092,flink-2:9092,flink-3:9092 --topic canal_tsdb --consumer.config /flink-1/flink-1_kafka/key_user/consumer.properties

生产者

/bin/kafka-console-producer --broker-list flink-1:9092,flink-2:9092,flink-3:9092 --topic canal_tsdb --producer.config  /flink-1/flink-1_kafka/key_user/producer.properties

查看Topic

/bin/kafka-topics --list --zookeeper flink-1:2181,flink-2:2181,flink-3:2181

创建Topic

/bin/kafka-topics --create --topic test --partitions 2 --replication-factor 2  --zookeeper flink-1:2181,flink-2:2181,flink-3:2181

删除Topic

/bin/kafka-topics --delete --topic test  --zookeeper flink-1:2181,flink-2:2181,flink-3:2181