1. 程式人生 > >(轉載)Zookeeper實現分散式應用系統伺服器上下線動態感知

(轉載)Zookeeper實現分散式應用系統伺服器上下線動態感知

來到一家新公司,要求做zookeeper註冊中心的伺服器上線下線的動態感知。結果把要求看成了zookepper註冊中心的動態感知。哎,好尷尬呀!結果看到這篇文章我才恍然大悟。講的也很細緻!特發表一篇文章做為收藏。

我們現在有一個分散式應用系統提供服務,伺服器有很多臺,伺服器根據我們的負載會增加或減少,這樣伺服器就會有動態上下線的情況。這樣我們的客戶端怎麼知道我們的伺服器有哪幾天,伺服器宕機我們怎麼知道?

所以我們可以利用zookeeper叢集實現這個需求(客戶端能實時洞察到伺服器上下線的變化)

實現方法

  1. 我們的伺服器一啟動的時候就去zookeeper去註冊,zookeeper記錄註冊伺服器的IP等資訊。
  2. 去zookeeper註冊的節點必須是臨時節點,這樣當伺服器宕機下線的時候,zookeeper會把這個節點刪除掉,這樣才會產生事件,客戶端才能監聽到。
  3. 客戶端一啟動的時候就去連線zookeeper,然後去getChildren並且註冊監聽,獲取當前線上伺服器列表,然後選擇伺服器進行連線(可以獲取到伺服器的IP或者伺服器的連線數量,這樣還可以通過連線數量來進行負載均衡)
  4. 一旦伺服器觸發上下線的事件,就會通知到註冊監聽的客戶端,客戶端的監聽器的process()方法就會呼叫,然後在process()方法內又可以繼續getChildren並且註冊監聽(重新獲取伺服器列表並註冊監聽) 
    這裡寫圖片描述

服務端程式碼

package cn.itcast.bigdata.zkdist;

import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooDefs.Ids;
import org.apache.zookeeper.ZooKeeper;

public class DistributedServer {
    private static final String connectString = "mini1:2181,mini2:2181,mini3:2181";
    private static final int sessionTimeout = 2000;
    private static final String parentNode = "/servers";

    private ZooKeeper zk = null;

    /**
     * 建立到zk的客戶端連線
     * 
     * @throws Exception
     */
    public void getConnect() throws Exception {

        zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                // 收到事件通知後的回撥函式(應該是我們自己的事件處理邏輯)
                System.out.println(event.getType() + "---" + event.getPath());
            }
        });

    }

    /**
     * 向zk叢集註冊伺服器資訊
     * 
     * @param hostname
     * @throws Exception
     */
    public void registerServer(String hostname) throws Exception {

        String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
        System.out.println(hostname + "is online.." + create);

    }

    /**
     * 業務功能
     * 
     * @throws InterruptedException
     */
    public void handleBussiness(String hostname) throws InterruptedException {
        System.out.println(hostname + "start working.....");
        Thread.sleep(Long.MAX_VALUE);
    }

    public static void main(String[] args) throws Exception {

        // 獲取zk連線
        DistributedServer server = new DistributedServer();
        server.getConnect();

        // 利用zk連線註冊伺服器資訊
        server.registerServer(args[0]);

        // 啟動業務功能
        server.handleBussiness(args[0]);

    }

}

客戶端程式碼

package cn.itcast.bigdata.zkdist;

import java.util.ArrayList;
import java.util.List;

import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;

public class DistributedClient {

    private static final String connectString = "mini1:2181,mini2:2181,mini3:2181";
    private static final int sessionTimeout = 2000;
    private static final String parentNode = "/servers";
    // 注意:加volatile的意義何在?
    private volatile List<String> serverList;
    private ZooKeeper zk = null;

    /**
     * 建立到zk的客戶端連線
     * 
     * @throws Exception
     */
    public void getConnect() throws Exception {

        zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                // 收到事件通知後的回撥函式(應該是我們自己的事件處理邏輯)
                try {
                    //重新更新伺服器列表,並且註冊了監聽
                    getServerList();

                } catch (Exception e) {
                }
            }
        });

    }

    /**
     * 獲取伺服器資訊列表
     * 
     * @throws Exception
     */
    public void getServerList() throws Exception {

        // 獲取伺服器子節點資訊,並且對父節點進行監聽
        List<String> children = zk.getChildren(parentNode, true);

        // 先建立一個區域性的list來存伺服器資訊
        List<String> servers = new ArrayList<String>();
        for (String child : children) {
            // child只是子節點的節點名
            byte[] data = zk.getData(parentNode + "/" + child, false, null);
            servers.add(new String(data));
        }
        // 把servers賦值給成員變數serverList,已提供給各業務執行緒使用
        serverList = servers;

        //列印伺服器列表
        System.out.println(serverList);

    }

    /**
     * 業務功能
     * 
     * @throws InterruptedException
     */
    public void handleBussiness() throws InterruptedException {
        System.out.println("client start working.....");
        Thread.sleep(Long.MAX_VALUE);
    }




    public static void main(String[] args) throws Exception {

        // 獲取zk連線
        DistributedClient client = new DistributedClient();
        client.getConnect();
        // 獲取servers的子節點資訊(並監聽),從中獲取伺服器資訊列表
        client.getServerList();

        // 業務執行緒啟動
        client.handleBussiness();

    }

}

注意:加volatile的意義何在? 
這裡寫圖片描述

成員變數serverList在堆記憶體裡面,每個執行緒工作的時候都有自己的工作棧空間,每個執行緒操作serverList的時候都會拷貝一份副本到自己的工作棧中,然後對副本進行操作,操作完之後再把副本同步回去。如果在副本同步回去的過程中,另一個執行緒拷貝了一份副本到自己的執行緒工作棧,這時候這個執行緒的serverList的伺服器列表就會少一個。加了volatile之後,volatile保證了serverList的可見性,也就是說在每個執行緒中對serverList操作之後,在其他執行緒中都能立刻看到修改後的值。相當於這些執行緒都不拷貝副本而是直接去主存中操作serverList。因為現在我們getServerList()方法的執行緒和業務執行緒不在同一個執行緒裡面;所以不加volatile的話,業務執行緒看到的serverList服務列表可能會不一樣。 
這裡寫圖片描述

測試

我們可以把客戶端打一個jar包,把伺服器打一個jar包。 
這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

現在我們來啟動server.jar,啟動伺服器mini1: 
這裡寫圖片描述
然後我們再把mini2和mini3的伺服器也啟動了: 
這裡寫圖片描述

現在可以開啟客戶端了: 
這裡寫圖片描述

然後我們開啟新的mini4伺服器,我們客戶端也可以檢視到伺服器上線: 
這裡寫圖片描述 
關掉伺服器min1之後,客戶端也可以檢視到伺服器下線: 
這裡寫圖片描述

這就是我們伺服器的動態上下線感知。