kafka叢集安全化之啟用kerberos與acl

阿新 • • 發佈：2019-02-18

一、背景

在我們部署完kafka之後，雖然我們已經可以“肆意”的用kafka了，但是在一個大公司的實際生產環境中，kafka叢集往往十分龐大，每個使用者都應該只關心自己所負責的Topic，並且對其他人所使用的Topic沒有許可權。這樣一來可以將資源隔離開來，二來可以防止誤操作。

在許可權控制之前，我們必須要啟用的就是使用者認證，沒有使用者，自然沒有許可權一說了。

二、kafka啟用kerberos認證

2.1 在KDC中新增kafka使用者，並生成keytab

新建kfaka使用者	kadmin.local -q 'addprinc -randkey kafka/{hostname}@{REALM}'
生成keytab	kadmin.local -q "ktadd -k /etc/security/keytabs/{keytabname}.keytab kafka/{hostname}@{REALM}"

注意：

1、如果之前zookeeper沒有啟用kerberos，這裡也要啟用zookeeper的kerberos

2、如果之前在CM中啟用了kerberos，我們可以直接從CM中獲取keytab，但是注意keytab一定要保持最新的，否則認證不會通過，keytab的位置是：

/var/run/cloudera-scm-agent/process/****-kafka-KAFKA_BROKER/kafka.keytab

/var/run/cloudera-scm-agent/process/****-zookeeper-server/zookeeper.keytab

2.2 修改server.properties

//修改這一句

listeners=SASL_PLAINTEXT://host.name:port

//新增以下

authorizer.class.name = kafka.security.auth.SimpleAclAuthorizer

security.inter.broker.protocol=SASL_PLAINTEXT

sasl.mechanism.inter.broker.protocol=GSSAPI

sasl.enabled.mechanisms=GSSAPI

sasl.kerberos.service.name=kafka

super.users=User:kafka

2.3 新建kafka_server.jaass

KafkaServer {

com.sun.security.auth.module.Krb5LoginModule required

useKeyTab=true

storeKey=true

serviceName="kafka"

keyTab="/etc/keytab/kafka_122.keytab" //替換為自己的keytab所在位置

principal="kafka/{hostname}@{REALM}";//替換為自己的keytab所對應principle

};

// Zookeeper client authentication，因為卡夫卡使用過程中會和zookeeper進行互動

Client {

com.sun.security.auth.module.Krb5LoginModule required

useKeyTab=true

storeKey=true

serviceName="zookeeper"

keyTab="/etc/keytab/kafka_122.keytab" //替換為自己的keytab所在位置

principal="kafka/{hostname}@{REALM}";//替換為自己的keytab所對應principle

};

2.4 修改啟動指令碼

export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/root/kafka/config/kafka_server.jaas"

//剛才的kafka_server.jaas位置

2.5重啟broker

bin/kafka-server-stop.sh

bin/kafka-server-start.sh

2.6 客戶端啟用kerberos

在broker啟用kerberos之後，如果我們後續需要在命令列介面進行操作，及consumer與producer操作，我們需要在這些客戶端也配置上kerberos

2.6.1新增kafka_client.jaas

KafkaClient {

com.sun.security.auth.module.Krb5LoginModule required

useKeyTab=true

storeKey=true

keyTab="/etc/keytab/kafka_122.keytab"

serviceName="kafka"

principal="kafka/{hostname}@{REALM}";

};

// Zookeeper client authentication

Client {

com.sun.security.auth.module.Krb5LoginModule required

useKeyTab=true

storeKey=true

serviceName="zookeeper"

keyTab="/etc/keytab/kafka_122.keytab"

principal="kafka/{hostname}@{REALM}";

};

2.6.2配置生效

當前會話生效：

export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/opt/kafka/config/kafka_client.jaas"

配置到環境變數中

vim /etc/profile

增加

export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/opt/kafka/config/kafka_client.jaas"

2.6.3若有用到consumer或者producer，在consumer.properties或producer.properties中增加

security.protocol=SASL_PLAINTEXT

sasl.mechanism=GSSAPI

sasl.kerberos.service.name=kafka

三、kafka啟用acl（參考http://orchome.com/185）

Kafka認證管理CLI（和其他的CLI指令碼）可以在bin目錄中找到。CLI指令碼名是kafka-acls.sh。啟用之前，需要在server.properties裡新增這句:

allow.everyone.if.no.acl.found=false

以下列出了所有指令碼支援的選項：

選項	描述	預設	型別選擇
--add	新增一個acl	Action
--remove	移除一個acl	Action
--list	列出acl	Action
--authorizer	authorizer的完全限定類名	kafka.security.auth.SimpleAclAuthorizer	Configuration
--authorizer-properties	key=val，傳給authorizer進行初始化，例如：zookeeper.connect=localhost:2181	Configuration
--cluster	指定叢集作為資源。	Resource
--topic [topic-name]	指定topic作為資源。	Resource
--group [group-name]	指定 consumer-group 作為資源。	Resource
-allow-principal	新增到允許訪問的ACL中，Principal是PrincipalType:name格式。你可以指定多個。	Principal
--deny-principal	新增到拒絕訪問的ACL中，Principal是PrincipalType:name格式。你可以指定多個。	Principal
--allow-host	--allow-principal中的principal的IP地址允許訪問。	如果--allow-principal指定的預設值是*，則意味著指定“所有主機”	Host
--deny-host	允許或拒絕的操作。有效值為：讀，寫，建立，刪除，更改，描述，ClusterAction，全部	ALL	Operation
--operation	--deny-principal中的principals的IP地址拒絕訪問。	如果 --deny-principal指定的預設值是 * 則意味著指定 "所有主機"	Host
--producer	為producer角色新增/刪除acl。生成acl，允許在topic上WRITE, DESCRIBE和CREATE叢集。	Convenience
--consumer	為consumer role新增/刪除acl，生成acl，允許在topic上READ, DESCRIBE 和 consumer-group上READ。	Convenience
--force	假設所有操作都是yes，規避提示	Convenience

常用命令舉例：因為kafka的acl資訊是存在zookeeper上的，所以需要提供zookeeper.connect引數，並且acl的存在與否與資源的存在與否無關。

最後的資源可以是topic，也可是cluster，也可以是consumer-group

給Bob和Alice從198.168.159.0（1）對test讀寫的許可權	bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:Bob --allow-principal User:Alice --allow-host 198.168.159.0 --allow-host 198.168.159.1 --operation Read --operation Write --topic test
只拒絕BadBob從198.168.159.3對test的讀許可權	bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:* --allow-host * --deny-principal User:BadBob --deny-host 198.168.159.3 --operation Read --topic test
列出test的所有許可權	bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --list --topic test
刪除許可權	bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --remove --allow-principal User:* --allow-host * --deny-principal User:BadBob --deny-host 198.168.159.3 --operation Read --topic test
給生產者Bob對test的生產許可權	bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:Bob --producer --topic test
給消費者Bob對test的消費許可權	bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:Bob --consumer --topic test --group Group-1

四、MirrorMaker的跨域同步

4.1 修改kerberos配置

新增互信principle

kadmin.local下操作

addprinc krbtgt/{REALMA}@{REALMB}

addprinc krbtgt/{REALMB}@{REALMA}

修改krb5.conf

[realms]//realms 裡配上兩個域的資訊

HADOOP.SPADE.COM = {

kdc = hb21-bd-cm-130-61:88

admin_server = hb21-bd-cm-130-61:749

}

HADOOP.TEST.COM = {

kdc = tk-dba-hadoop-152:88

admin_server = tk-dba-hadoop-152:749

}

[domain_realm] //domain_realm 配上域名和主機名的對映，有多少機器就要配多少

tk-dba-hadoop-154 = HADOOP.TEST.COM

hb21-dba-kfk-130-120 = HADOOP.SPADE.COM

[capaths] //capaths 配上互信的域的對映

HADOOP.SAPDE.COM ={

HADOOP.TEST.COM = .

}

HADOOP.TEST.COM={

HADOOP.SPADE.COM = .

}

4.2 修改broker配置

新增sasl.kerberos.principal.to.local.rules屬性

sasl.kerberos.principal.to.local.rules=RULE:[1:[email protected]$0](.*@\HADOOP.TEST.COM$)s/@\HADOOP.TEST.COM$//,RULE:[2:[email protected]$0](.*@\HADOOP.TEST.COM$)s/@\HADOOP.TEST.COM$//,RULE:[1:[email protected]$0](.*@\HADOOP.SPADE.COM$)s/@\HADOOP.SPADE.COM$//,RULE:[2:[email protected]$0](.*@\HADOOP.SPADE.COM$)s/@\HADOOP.SPADE.COM$//,DEFAULT

4.3 驗證互信是否成功

從域B中複製出keytab到域A的機器中，然後在A中使用該keytab，配置jaas檔案，匯入環境變數中。用該keytab操作叢集A或者叢集B中的topic，能正常寫入資料即為成功。

五、啟用kerberos之後的平滑過度期

生產環境啟用kerberos之後，為了給業務向的consumer和producer一個平滑的接入認證系統的緩衝時間，這段時間我們可以給kafka啟用兩個監聽埠，一個是需要kerberos認證的埠，一個不需要認證的埠。讓他們共同存在，同時服務。

5.1 增加監聽埠

修改server.properties

listeners=SASL_PLAINTEXT://10.21.130.120:9092,PLAINTEXT://10.21.130.120:9093

allow.everyone.if.no.acl.found=false

5.2 新增ANONYMOUS使用者的訪問許可權

bin/kafka-acls.sh --add --authorizer-properties zookeeper.connect={host:port/childpath} --allow-principal User:ANONYMOUS --allow-host * --operation All --topic {topicname}

5.3 測試不同認證方式共存成功與否

刪除jaas環境變數	unset {變數名}
producer測試	bin/kafka-console-producer.sh --broker-list {host}:9093 --topic{topicname}

六、啟用zookeeper的acl同步

kafka的bin目錄下的zookeeper-security-migration.sh，可以將kafka的許可權，遍歷賦給zookeeper中每個子節點，然後分別設定acl，因為zookeeper的acl是僅對當前節點生效，對其下節點不生效的，單獨賦許可權很麻煩。zookeeper-security-migration.sh解決了這個問題。

修改server.properties,增加

zookeeper.set.acl=true

重啟kafka叢集（批量重啟或滾動重啟）

啟動zookeeper-security-migration.sh指令碼,secure設定同步，unsecure取消同步

bin/zookeeper-security-migration --zookeeper.acl=secure --zookeeper.connect={host}:{port}/{path}

kafka叢集安全化之啟用kerberos與acl

一、背景

二、kafka啟用kerberos認證

2.1 在KDC中新增kafka使用者，並生成keytab

2.2 修改server.properties

2.3 新建kafka_server.jaass

2.4 修改啟動指令碼

2.5重啟broker

2.6 客戶端啟用kerberos

2.6.1新增kafka_client.jaas

2.6.2配置生效

2.6.3若有用到consumer或者producer，在consumer.properties或producer.properties中增加

三、kafka啟用acl（參考http://orchome.com/185）

四、MirrorMaker的跨域同步

4.1 修改kerberos配置

4.2 修改broker配置

4.3 驗證互信是否成功

五、啟用kerberos之後的平滑過度期

5.1 增加監聽埠

5.2 新增ANONYMOUS使用者的訪問許可權

5.3 測試不同認證方式共存成功與否

六、啟用zookeeper的acl同步

相關推薦