Mongodb原始碼分析--Replication之主從模式--Slave

在上文中介紹了主從(master-slave)模式下的一些基本概念及master的執行流程。今天接著介紹一下從(slave)結點是如何發起請求，並通過請求獲取的oplog資訊來構造本地資料的。

不過開始今天的正文前，需要介紹一下mongodb在slave結點上進行資料同步時的一個大致流程：

1.當一個從結點啟動時，它會對主結點進行一次徹底同步。從結點將複製主結點中的每一個文件（操作量大且耗時）。當初始化的同步完成後，從結點將查詢主結點的oplog並且執行這些操作來保持資料的更新。

2.如從結點上的操作落後主結點太多，從結點處於out-of-sync狀態。該狀態表示從結點不能通過執行同步操作使本地資料趕上主結點資料，因為主結點中的每一個操作都太新了。造成這種情況的原因包括結點宕機或者忙於處理讀請求（儘管mongodb支援讀操作的負載均衡）。如果同步的時間(戳)超出了oplog(滾動)的時間(戳)，它將重新開始一次徹底的同步（通過執行resync操作）。

3.當一個從結點處於out-of-sync狀態時，複製將被掛起，從結點需要從主結點進行重新同步。resync流程可以手動執行，即在從結點的admin資料庫上執行命令{“resync”：1}，或者自動執行：在啟動從結點時使用 --autoresync選項。因為resync是非常操作量大且耗時，最好通過設定一個足夠大的oplogSize來避免resync（預設的oplog大小是空閒磁碟大小的5%）。

    為了驗證上面的流程，下面我們就來看一下slave的執行流程。這裡為了便於除錯，對環境配置如下：

   1.master db ip-> 10.0.4.210
      啟動命令列：d:\mongod>bin>mongod --dbpath=d:\mongodb\db --master --oplogSize 64

2.在vs中做如下設定（mongod專案屬性視窗）：
--slave --source 10.0.4.210:27017 --only test --slavedelay 100

因為mongod的主入口函式在db.cpp中，我們可以通過下面方法的呼叫流程找到slave的蛛絲馬跡：

db.cpp-->
main(int argc, char* argv[]) //載入啟動引數如--slave，--slavedelay並繫結到replSettings物件void initAndListen(int listenPort, const

char*appserverLoc = NULL)
void _initAndListen(int listenPort, constchar*appserverLoc = NULL)
listen(int port)
當執行到listen()方法後(如下)：

void listen(int port) {
        //testTheDb();        log() <<"waiting for connections on port "<< port << endl;
        OurListener l(cmdLine.bind_ip, port);
        l.setAsTimeTracker();
        //啟動複製        startReplication();
        if ( !noHttpInterface )
            boost::thread web( boost::bind(&webServerThread, new RestAdminAccess() /* takes ownership */));

        .....
    }

mongodb會緊跟著執行repl.cpp檔案中的startReplication()方法，如下：

//repl.cppvoid startReplication() {
        /* if we are going to be a replica set, we aren't doing other forms of replication. */if( !cmdLine._replSet.empty() ) {
            //如果使用分佈叢集，則不允許帶slave或master選項if( replSettings.slave || replSettings.master || replPair ) {
                log() <<"***"<< endl;
                log() <<"ERROR: can't use --slave or --master replication options with --replSet"<< endl;
                log() <<"***"<< endl;
            }
            //繫結函式，oplog.cpp ->_logOpRS(), 用於處理replset型別的oplog操作            newRepl();
            return;
        }
        //繫結函式，oplog.cpp ->_logOpOld(), 用於處理master-slave型別的oplog操作        oldRepl();

        /* this was just to see if anything locks for longer than it should -- we need to be careful
           not to be locked when trying to connect() or query() the other side.
           *///boost::thread tempt(tempThread);
        //當設定引數不正確時（非slave，master且不是replPair）if( !replSettings.slave &&!replSettings.master &&!replPair )
            return;

        {
            dblock lk;
            cc().getAuthenticationInfo()->authorize("admin");
            pairSync->init();
        }
        //如果是slave，則開啟相關訪問（master server）執行緒if ( replSettings.slave || replPair ) {
            if ( replSettings.slave ) {
                assert( replSettings.slave == SimpleSlave );
                log(1) <<"slave=true"<< endl;
            }
            else
                replSettings.slave = ReplPairSlave;
            //構造並啟動執行緒方法replSlaveThread            boost::thread repl_thread(replSlaveThread);
        }
        //如果是master，則構造並啟動執行緒方法replMasterThreadif ( replSettings.master || replPair ) {
            if ( replSettings.master )
                log(1) <<"master=true"<< endl;
            replSettings.master =true;
            createOplog();//構造oplog集合“local.oplog.$main”
            boost::thread t(replMasterThread);
        }
        // don't allow writes until we've set up from logwhile( replSettings.fastsync )
            sleepmillis( 50 );
    }

上面方法在完成必要的引數分析檢查之後，就會根據slave的配置資訊來構造啟動執行緒方法replSlaveThread，如下：

//repl.cppvoid replSlaveThread() {
        sleepsecs(1);
        Client::initThread("replslave");
        cc().iAmSyncThread();

        {
            dblock lk;
            //獲取認證資訊（mongodb支援使用安全認證不管哪種replicate方式，
            //只要在master/slave中建立一個能為各個database認識的使用者名稱/密碼即可)            cc().getAuthenticationInfo()->authorize("admin");

            ......
        }

        while ( 1 ) {
            try {
                //repl主函式                replMain();
                if ( debug_stop_repl )
                    break;
                sleepsecs(5);//休眠5秒            }
            catch ( AssertionException& ) {
                ReplInfo r("Assertion in replSlaveThread(): sleeping 5 minutes before retry");
                problem() <<"Assertion in replSlaveThread(): sleeping 5 minutes before retry"<< endl;
                sleepsecs(300);
            }
        }
    }

上面方法中有mongodb進行認證的邏輯，之後就會用一個while(1)來迴圈執行（注：每5秒執行一次）replMain()方法，如下：

//repl.cppvoid replMain() {
        ReplSource::SourceVector sources;
        while ( 1 ) {
            int s =0;
            {
                dblock lk;
                //複製失敗if ( replAllDead ) {//該識別符號會在同步出現異常如(out of sync)時為true
                    //autoresync:自動地重新執行完整的同步，如果這個從結點脫離了與主結點的同步。if ( !replSettings.autoresync ||!ReplSource::throttledForceResyncDead( "auto" ) )
                        break;
                }
                // i.e., there is only one sync thread running.
                // we will want to change/fix this.                assert( syncing ==0 );
                syncing++;
            }
            try {
                int nApplied =0;
                //repl主函式                s = _replMain(sources, nApplied);
                if( s ==1 ) {
                    if( nApplied ==0 ) s =2;
                    elseif( nApplied >100 ) {
                        // sleep very little - just enought that we aren't truly hammering master                        sleepmillis(75);
                        s =0;
                    }
                }
            }
            catch (...) {
                out() <<"caught exception in _replMain"<< endl;
                s =4;
            }
            ......
     }

上面程式碼又是一個while(1)迴圈，它會判斷當前slave是否處於“out of sync”狀態，如果是，但未開啟autoresync時，則複製將被掛起。否則會執行_replMain方法來進行同步，如下：

//repl.cppint _replMain(ReplSource::SourceVector& sources, int& nApplied) {
        {
            ReplInfo r("replMain load sources");
            dblock lk;
            ReplSource::loadAll(sources);//繫結相應的master sources,以便後面遍歷同步/*fastsync: 從主結點的快照中啟動一個從結點。與完整的同步相比，
            這個選項允許一個從結點更快地啟動，如果它的資料目錄已經使用主結點的快照進行初始化。*/
            replSettings.fastsync =false; // 初始重置時需要該引數        }
        .....

        int sleepAdvice =1;
        for ( ReplSource::SourceVector::iterator i = sources.begin(); i != sources.end(); i++ ) {
            ReplSource *s = i->get();
            int res =-1;
            try {
                res = s->sync(nApplied);
                //是否有其它要同步的資料庫bool moreToSync = s->haveMoreDbsToSync();
                if( res <0 ) {
                    sleepAdvice =3;
                }
                elseif( moreToSync ) {
                    sleepAdvice =0;
                }
                elseif ( s->sleepAdvice() ) {
                    sleepAdvice = s->sleepAdvice();
                }
                else
                    sleepAdvice = res;
                if ( res >=0&&!moreToSync /*&& !s->syncedTo.isNull()*/ ) {
                    pairSync->setInitialSyncCompletedLocking();
                }
            }
            ......
        }
        return sleepAdvice;
    }

上面的_replMain()方法首先會從“local.sources”資料集中獲取主（master）節點的資訊。這裡解釋一下，mongod從結點在啟動時會將啟動引數(--source)中的資訊儲存到"local.sources"資料集中,並通過此函式（loadAll()）中載入到一個集合物件中。這裡我們看一下其載入程式碼，如下：

Mongodb原始碼分析--Replication之主從模式--Slave

Mongodb原始碼分析--Replication之主從模式--Slave

mongodb原始碼分析(十五)replication replset模式的初始化

mongodb原始碼分析(六)查詢3之mongod的cursor的產生

mongodb原始碼分析(五)查詢2之mongod的資料庫載入

Dubbo 原始碼分析系列之三 —— 架構原理

Java程式設計師從笨鳥到菜鳥之（八十一）細談Spring（十）深入原始碼分析Spring之HibernateTemplate

Tomcat 原始碼分析系列之環境搭建

原始碼分析篇之手寫springvc

RxJava2原始碼分析二之just、fromArray、fromIterable

jQuery2.0.3原始碼分析系列之(29) 視窗尺寸

原始碼分析篇之String原始碼分析二

Android wpa_supplicant原始碼分析--啟動之全域性初始化

RabbitMQ客戶端原始碼分析(三)之Command

RabbitMQ客戶端原始碼分析(五)之ConsumerWorkSerivce與WorkPool

RabbitMQ客戶端原始碼分析(六)之IntAllocator

RabbitMQ客戶端原始碼分析(七)之Channel與ChannelManager

原始碼分析篇之String原始碼分析三

RabbitMQ客戶端原始碼分析(九)之RPC請求響應

RocketMQ原始碼分析(一)之除錯環境搭建

原始碼分析Kafka之Producer

Mongodb原始碼分析--Replication之主從模式--Slave

相關推薦