開始的架構圖已經有寫得非常漂亮的。我這裡就不重新再編輯了。java 版本實現job server和worker從第6點開始，紅色部分是我遇到的一些坑。。。

1, 環境

CentOS 64位, MySQL, Redis, Java

mysql安裝通過lnmp進行安裝。所以預設安裝路徑為/usr/local/mysql

2, Redis簡介

Redis是一個開源的K-V記憶體資料庫，它的key可以是string/set/hash/list/...，因為是基於記憶體的，所在訪問速度相當快。

Gearman是一個開源的Map/Reduce分散式計算框架，具有豐富的client sdk，而且它支援MySQL UDF。

Gearman工作圖

Gearman呼叫流程

Gearman叢集

從圖中可以看出貌似Gearman的叢集功能比較弱，Job Server之間沒啥關係好像。

4, MySQL - Redis配合使用方案

首先我們以MySQL資料為主，將insert/update/delete交給MySQL，而select交給redis；
當有資料發生變化時，通過MySQL Trigger實時非同步呼叫Gearman的UDF提交一個job給Job Server，當job執行的時候會去更新redis；從而保證redis與MySQL中的資料是同步的。

5, 軟體安裝

安裝gearman

//安裝依賴
 

$ yum install -y boost-devel gperf libevent-devel libuuid-devel

//下載gearman  2015-12-10來看都是最新版本
$ wget https://launchpad.net/gearmand/1.2/1.1.12/+download/gearmand-1.1.12.tar.gz
$ tar zxvf gearmand-1.1.12.tar.gz

//編譯安裝，指定mysqlclient的連結路徑
$ ./configure
$ make
$ make install

//啟動gearmand服務端 （啟動之時，在/var/log/下建立gearmand.log日誌檔案。-l 指定日誌檔案  -d後臺執行 -L 0.0.0.0 繫結到IPV4）
 

$ /usr/local/sbin/gearmand -L 0.0.0.0 -l /var/log/gearmand.log -d

//檢視是否啟動成功[[email protected] mysql]# ps -ef | grep gearman
root     31142     1  0 17:06 ?        00:00:00 /usr/local/sbin/gearmand -L 0.0.0.0 -l /znwx/logs/gearmand/gearmand.log -d
root     31174 30507  0 17:40 pts/0    00:00:00 grep gearman//檢視是否安裝成功，檢視gearman版本
$ /usr/local/sbin/gearmand -V

5, MySQL UDF + Trigger同步資料到Gearman

安裝lib_mysqludf_json

lib_mysqludf_json可以把MySQL表的資料以json資料格式輸出

//下載lib_mysqludf_json（地址：https://github.com/mysqludf）
$ cd lib_mysqludf_json
先刪除 lib_mysqludf_json.so
//編譯 mysql_config 這是mysql的配置檔案，可以 find /usr -name mysql_config 搜尋下在什麼位置
$ gcc $(/usr/local/mysql/bin/mysql_config  --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c
//拷貝lib_mysqludf_json.so到MySQL的plugin目錄
//可以登陸MySQL，輸入命令"show variables like '%plugin%'"檢視plugin位置
$ cp lib_mysqludf_json.so /usr/lib64/mysql/plugin/

//演示lib_mysqludf_json功能
$ mysql -uname -hhost -ppwd
//首先註冊UDF函式
mysql> CREATE FUNCTION json_object RETURNS STRING 
       SONAME "lib_mysqludf_json.so";
//json_array|json_members|json_values函式註冊方式與json_object一樣.
mysql> use test;
mysql> select * from user_list;
+------+----------+
| NAME | PASSWORD |
+------+----------+
| troy | pwd      |
+------+----------+
mysql> select json_object(name,password) as user from user_list;
+----------------------------------+
| user                             |
+----------------------------------+
| {"name":"troy","password":"pwd"} |
+----------------------------------+

安裝gearman-mysql-udf

//下載 2015年12月10日已知最新版本
$ wget https://launchpad.net/gearman-mysql-udf/trunk/0.6/+download/gearman-mysql-udf-0.6.tar.gz
$ tar zxvf gearman-mysql-udf-0.6.tar.gz
$ cd gearman-mysql-udf-0.6

//安裝libgearman-devel
$ yum install libgearman-devel

//編譯安裝

//可以登陸MySQL，輸入命令"show variables like '%plugin%'"檢視plugin位置， mysql_config的配置檔案，以及外掛庫所在路徑，編譯之後會在此路徑生成.so檔案

./configure --with-mysql=/usr/local/mysql/bin/mysql_config --libdir=/usr/local/mysql/lib/plugin/

如果出現異常資訊：
ERROR 1126 (HY000): Can't open shared library 'libgearman_mysql_udf.so' (errno: 11 libgearman.so.8: cannot open shared object file: No such file or directory)
表示系統找不到 libgearman.so 檔案，一般so都在/usr/local/lib目錄下，修改配置檔案/etc/ld.so.conf，將/usr/local/lib目錄加入進去即可:

$ cat /etc/ld.so.conf
include ld.so.conf.d/*.conf
/usr/local/lib
$ /sbin/ldconfig -v | grep gearman*

MySQL Trigger呼叫Gearman UDF實現同步

DELIMITER $$
CREATE TRIGGER user_list_data_to_redis AFTER UPDATE ON user_list
  FOR EACH ROW BEGIN
    SET @ret=gman_do_background('MySQLToRedis', json_object(NEW.name as 'name', NEW.password as 'password')); 
  END$$
DELIMITER ;

6、這裡才是重點：java實現job server 和worker或者單worker，網上都是一些php的。可惡啊。。。。。

我上程式碼了：

/**
 * mysql 同步到 redis 的工具類。連線遠端gearman job server
 * 實現原理 
 * mysql_udf  >>>>>  gearman job server>>>> gearm worker(本類) >>>>> redis
 * @author 堼宸落宇 2015年12月10日
 *
 */
@Component
public class MysqlToRedisWorker implements GearmanFunction{
	private static final Logger log = LoggerFactory.getLogger(MysqlToRedisWorker.class);
	
	public static final String ECHO_FUNCTION_NAME = "MySQLToRedis";
	
	@Autowired
	private Config config;
    
	/**
	 * 連線其他jobserver用的。
	 */
	public void startWorker() {
		Gearman gearman = Gearman.createGearman();  //建立gearman物件，無論是client，worker都是由這個物件產生的
		log.info("MysqlToRedisWorkder connection:"+config.getEchoHost()+":"+config.getEchoPort()+",function:"+MysqlToRedisWorker.ECHO_FUNCTION_NAME);
		GearmanServer server = gearman.createGearmanServer(config.getEchoHost(), config.getEchoPort());  //建立gearman server，主要是server地址和埠

        GearmanWorker worker = gearman.createGearmanWorker();  //正題來了，建立work節點。
        worker.setReconnectPeriod(2, TimeUnit.SECONDS);  //設定超時重連時間
        worker.setMaximumConcurrency(5);  //最大併發數

        worker.addFunction(<span style="color:#cc0000;">ECHO_FUNCTION_NAME</span>, this);  //新增function方法
        worker.addServer(server);  //將work新增到server中
        log.info("MysqlToRedisWorkder is started!!!!");
	}
	
	@Override
	public byte[] work(String func, byte[] data, GearmanFunctionCallback callback)
			throws Exception {
		
		log.info("收到mysql的資料：：："+new String(data));
		System.out.println("@@@@@ " + new String(data));  //byte[] data是從client傳遞來的引數，我們將引數增加@@@@字串後，原封不動返回
        return data;
	}

問題：config類為spring注入的配置檔案類，在worker.addFunction中，如果通過config類的屬性，並且屬性是從配置檔案來的就會有問題。不知道為啥，寫死就是OK的。此類連線遠端的gearman job server.

jar包需要新增到本地jar倉庫：

mvn install:install-file -Dfile=C:\software\java-gearman-service-0.6.6.jar -DgroupId=org.gearman.jgs -DartifactId=java-gearman-service -Dversion=0.6.6 -Dpackaging=jar

7、建立一個job server並註冊worker，本地服務。

/**
 * 建立一個job server 伺服器，並且註冊一個worker。
 * @author <span style="font-family: tahoma, helvetica, arial;">堼宸落宇</span><span style="font-family: tahoma, helvetica, arial;">  2015年12月10日</span>
 *
 */
@Component
public class MysqlToRedisJobServer {
	private static final Logger log = LoggerFactory.getLogger(MysqlToRedisJobServer.class);
	
	@Autowired
	MysqlToRedisWorker mysqlToRedisWorker;
	@Autowired
	Config config;
	
	public void startJobServer() throws Exception{
		 /*
         * Create a Gearman instance
         */
        Gearman gearman = Gearman.createGearman();

        try {

                /*
                 * Start a new job server. The resulting server will be running in
                 * the local address space.
                 * 
                 * Parameter 1: The port number to listen on
                 * 
                 * throws IOException
                 */
                GearmanServer server = gearman.startGearmanServer(config.getEchoPort());
                
                if (server!=null) {
					log.info("Start gearm jobServer with java !funcname:"+MysqlToRedisWorker.ECHO_FUNCTION_NAME+" port:"+config.getEchoPort());
				}
                
                /*
                 * Create a gearman worker. The worker poll jobs from the server and
                 * executes the corresponding GearmanFunction
                 */
                GearmanWorker worker = gearman.createGearmanWorker();

                /*
                 *  Tell the worker how to perform the echo function
                 */
                worker.addFunction(MysqlToRedisWorker.ECHO_FUNCTION_NAME, mysqlToRedisWorker);

                /*
                 *  Tell the worker that it may communicate with the given job server
                 */
                worker.addServer(server);

        } catch (IOException ioe) {

                /*
                 * If an exception occurs, make sure the gearman service is shutdown
                 */
                gearman.shutdown();

                // forward exception
                throw ioe;
        }
	}

到這裡就完成了java版本的mysql到redis的複製。可沒看到複製到redis中啊。worker類的work方法就是從mysql_udf中傳過來的，這裡就隨便怎麼玩了，不是麼。。。  備註  謹記 2天的成果