分布式服務Dubbo+Zookeeper安全認證
阿新 • • 發佈：2017-12-19
ble 密碼 ces his 所有 權限認證 setquota cep enca
前言
由於之前的服務都是在內網，Zookeeper集群配置都是走的內網IP，外網不開放相關端口。最近由於業務升級，購置了阿裏雲的服務，需要對外開放Zookeeper服務。
問題
Zookeeper+dubbo，如何設置安全認證？不想讓其他服務連接Zookeeper，因為這個Zookeeper服務器在外網。
查詢官方文檔：
Zookeeper 是 Apacahe Hadoop 的子項目，是一個樹型的目錄服務，支持變更推送，適合作為 Dubbo 服務的註冊中心，工業強度較高，可用於生產環境，並推薦使用。
流程說明：
- 服務提供者啟動時: 向 /dubbo/com.foo.BarService/providers 目錄下寫入自己的 URL 地址
- 服務消費者啟動時: 訂閱 /dubbo/com.foo.BarService/providers 目錄下的提供者 URL 地址。並向 /dubbo/com.foo.BarService/consumers 目錄下寫入自己的 URL 地址
- 監控中心啟動時: 訂閱 /dubbo/com.foo.BarService 目錄下的所有提供者和消費者 URL 地址
支持以下功能：
- 當提供者出現斷電等異常停機時，註冊中心能自動刪除提供者信息
- 當註冊中心重啟時，能自動恢復註冊數據，以及訂閱請求
- 當會話過期時，能自動恢復註冊數據，以及訂閱請求
- 當設置 < dubbo:registry check="false" /> 時，記錄失敗註冊和訂閱請求，後臺定時重試
- 可通過 < dubbo:registry username="admin" password="1234" /> 設置 zookeeper 登錄信息
- 可通過 < dubbo:registry group="dubbo" /> 設置 zookeeper 的根節點，不設置將使用無根樹
- 支持 * 號通配符 < dubbo:reference group="" version="" />，可訂閱服務的所有分組和所有版本的提供者
官網文檔第五條，明確說明了可以通過username和 password字段設置zookeeper 登錄信息。
以下是registry參數說明：
但是，如果在Zookeeper上通過digest方式設置ACL，然後在dubbo registry上配置相應的用戶、密碼，服務就註冊不到Zookeeper上了，會報KeeperErrorCode = NoAuth錯誤。
但是查閱ZookeeperRegistry相關源碼並沒有發現相關認證的地方，搜遍全網很少有問類似的問題，這個問題似乎並沒有多少人關註。
Zookeeper中的ACL
概述
傳統的文件系統中，ACL分為兩個維度，一個是屬組，一個是權限，子目錄/文件默認繼承父目錄的ACL。而在Zookeeper中，node的ACL是沒有繼承關系的，是獨立控制的。Zookeeper的ACL，可以從三個維度來理解：一是scheme; 二是user; 三是permission，通常表示為
scheme:id:permissions下面從這三個方面分別來介紹：
scheme: scheme對應於采用哪種方案來進行權限管理，zookeeper實現了一個pluggable的ACL方案，可以通過擴展scheme，來擴展ACL的機制。zookeeper-3.4.4缺省支持下面幾種scheme:
- world: 它下面只有一個id, 叫anyone, world:anyone代表任何人，zookeeper中對所有人有權限的結點就是屬於world:anyone的
- auth: 它不需要id, 只要是通過authentication的user都有權限（zookeeper支持通過kerberos來進行authencation, 也支持username/password形式的authentication)
- digest: 它對應的id為username:BASE64(SHA1(password))，它需要先通過username:password形式的authentication
- ip: 它對應的id為客戶機的IP地址，設置的時候可以設置一個ip段，比如ip:192.168.1.0/16, 表示匹配前16個bit的IP段
- super: 在這種scheme情況下，對應的id擁有超級權限，可以做任何事情(cdrwa)
permission: zookeeper目前支持下面一些權限：
- CREATE(c): 創建權限，可以在在當前node下創建child node
- DELETE(d): 刪除權限，可以刪除當前的node
- READ(r): 讀權限，可以獲取當前node的數據，可以list當前node所有的child nodes
- WRITE(w): 寫權限，可以向當前node寫數據
- ADMIN(a): 管理權限，可以設置當前node的permission
客戶端管理
我們可以通過以下命令連接客戶端進行操作：
./zkCli.sh 幫助
[zk: localhost:2181(CONNECTED) 2] help
ZooKeeper -server host:port cmd args
connect host:port
get path [watch]
ls path [watch]
set path data [version]
rmr path
delquota [-n|-b] path
quit
printwatches on|off
create [-s] [-e] path data acl
stat path [watch]
close
ls2 path [watch]
history
listquota path
setAcl path acl
getAcl path
sync path
redo cmdno
addauth scheme auth
delete path [version]
setquota -n|-b val path簡單操作
[zk: localhost:2181(CONNECTED) 12] ls /
[dubbo, test, zookeeper]
[zk: localhost:2181(CONNECTED) 13] create /itstyle data ip:192.168.1.190:cdrw
Created /itstyle
[zk: localhost:2181(CONNECTED) 14] getAcl /itstyle
‘ip,‘192.168.1.190
: cdrwzkclient操作代碼
import java.security.NoSuchAlgorithmException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import org.I0Itec.zkclient.ZkClient;
import org.apache.zookeeper.ZooDefs;
import org.apache.zookeeper.data.ACL;
import org.apache.zookeeper.data.Id;
import org.apache.zookeeper.data.Stat;
import org.apache.zookeeper.server.auth.DigestAuthenticationProvider;
public class Acl {
private static final String zkAddress = "192.168.1.190:2181";
private static final String testNode = "/dubbo";
private static final String readAuth = "read-user:123456";
private static final String writeAuth = "write-user:123456";
private static final String deleteAuth = "delete-user:123456";
private static final String allAuth = "super-user:123456";
private static final String adminAuth = "admin-user:123456";
private static final String digest = "digest";
private static void initNode() throws NoSuchAlgorithmException {
ZkClient zkClient = new ZkClient(zkAddress);
System.out.println(DigestAuthenticationProvider.generateDigest(allAuth));
zkClient.addAuthInfo(digest, allAuth.getBytes());
if (zkClient.exists(testNode)) {
zkClient.delete(testNode);
System.out.println("節點刪除成功！");
}
List<ACL> acls = new ArrayList<ACL>();
acls.add(new ACL(ZooDefs.Perms.ALL, new Id(digest, DigestAuthenticationProvider.generateDigest(allAuth))));
acls.add(new ACL(ZooDefs.Perms.ALL, new Id(digest, DigestAuthenticationProvider.generateDigest(allAuth))));
acls.add(new ACL(ZooDefs.Perms.READ, new Id(digest, DigestAuthenticationProvider.generateDigest(readAuth))));
acls.add(new ACL(ZooDefs.Perms.WRITE, new Id(digest, DigestAuthenticationProvider.generateDigest(writeAuth))));
acls.add(new ACL(ZooDefs.Perms.DELETE, new Id(digest, DigestAuthenticationProvider.generateDigest(deleteAuth))));
acls.add(new ACL(ZooDefs.Perms.ADMIN, new Id(digest, DigestAuthenticationProvider.generateDigest(adminAuth))));
zkClient.createPersistent(testNode, testNode, acls);
System.out.println(zkClient.readData(testNode));
System.out.println("節點創建成功！");
zkClient.close();
}
private static void readTest() {
ZkClient zkClient = new ZkClient(zkAddress);
try {
System.out.println(zkClient.readData(testNode));//沒有認證信息，讀取會出錯
} catch (Exception e) {
System.err.println(e.getMessage());
}
try {
zkClient.addAuthInfo(digest, adminAuth.getBytes());
System.out.println(zkClient.readData(testNode));//admin權限與read權限不匹配，讀取也會出錯
} catch (Exception e) {
System.err.println(e.getMessage());
}
try {
zkClient.addAuthInfo(digest, readAuth.getBytes());
System.out.println(zkClient.readData(testNode));//只有read權限的認證信息，才能正常讀取
} catch (Exception e) {
System.err.println(e.getMessage());
}
zkClient.close();
}
private static void writeTest() {
ZkClient zkClient = new ZkClient(zkAddress);
try {
zkClient.writeData(testNode, "new-data");//沒有認證信息，寫入會失敗
} catch (Exception e) {
System.err.println(e.getMessage());
}
try {
zkClient.addAuthInfo(digest, writeAuth.getBytes());
zkClient.writeData(testNode, "new-data");//加入認證信息後,寫入正常
} catch (Exception e) {
System.err.println(e.getMessage());
}
try {
zkClient.addAuthInfo(digest, readAuth.getBytes());
System.out.println(zkClient.readData(testNode));//讀取新值驗證
} catch (Exception e) {
System.err.println(e.getMessage());
}
zkClient.close();
}
private static void deleteTest() {
ZkClient zkClient = new ZkClient(zkAddress);
zkClient.addAuthInfo(digest, deleteAuth.getBytes());
try {
System.out.println(zkClient.readData(testNode));
zkClient.delete(testNode);
System.out.println("節點刪除成功！");
} catch (Exception e) {
System.err.println(e.getMessage());
}
zkClient.close();
}
private static void changeACLTest() {
ZkClient zkClient = new ZkClient(zkAddress);
//註：zkClient.setAcl方法查看源碼可以發現，調用了readData、setAcl二個方法
//所以要修改節點的ACL屬性，必須同時具備read、admin二種權限
zkClient.addAuthInfo(digest, adminAuth.getBytes());
zkClient.addAuthInfo(digest, readAuth.getBytes());
try {
List<ACL> acls = new ArrayList<ACL>();
acls.add(new ACL(ZooDefs.Perms.ALL, new Id(digest, DigestAuthenticationProvider.generateDigest(adminAuth))));
zkClient.setAcl(testNode, acls);
Map.Entry<List<ACL>, Stat> aclResult = zkClient.getAcl(testNode);
System.out.println(aclResult.getKey());
} catch (Exception e) {
System.err.println(e.getMessage());
}
zkClient.close();
}
public static void main(String[] args) throws Exception {
initNode();
System.out.println("---------------------");
readTest();
System.out.println("---------------------");
writeTest();
System.out.println("---------------------");
changeACLTest();
System.out.println("---------------------");
deleteTest();
}
}總結
大部分服務大都是部署在內網的，基本很少對外網開放，然而Dubbo的zookeeper用戶權限認證貌似真的不起作用，如果非要對外開放只能通過iptables或者firewall進行IP Access Control，如果是阿裏雲服務器的話安全組也是個不錯的選擇。
分布式服務Dubbo+Zookeeper安全認證