重構前言

本來想後續一篇文章專門寫docker volume plugin。這篇可以簡單粗暴的拉通docker的程式碼。之前看《Docker容器和容器雲》感覺原理解析部分沒有進一步深入到volume plugin的層次。本想以此作為第3篇的主要內容。最近看了一下新出的書《Docker進階與實踐》2016年2月出版，第6章對容器卷管理做出了比較接地氣的的講解，並對卷外掛做了描述。於是把原來計劃中的第3篇整合到第一篇，把這一篇內容昇華一下。下面分析的原始碼版本基於docker1.10

• 1
• 2

Volume Plugin Introduction

通過volume機制，docker可以輕易地將主機目錄掛載到容器中；通過docker的volume plugin機制，使docker能夠方便地整合第三方儲存，為docker提供volume。

Container and Volume

container如何使用volume？

volume機制可以使容器訪問儲存都使用統一的介面（檔案介面），對於容器中的程序來說，volume就是一個已掛載的目錄，容器內程序使用該目錄就與普通目錄一樣。

docker使用Container結構管理容器，Container結構中有map型別的MountPoints變數，用於儲存container中所有已掛載的volume即是MountPoint結構，MountPoint結構儲存掛載目錄和volume結構的基本資訊，並且管理目錄的許可權控制、掛載傳播方式等特性。

Volume是個interface，docker實現兩種volume。①基於主機檔案系統。②基於Volume Plugin。 

基於主機檔案系統提供volume

容器啟動：docker run -i -v /data ubuntu:latest /bin/bash 
容器內看到的掛載資訊： 

/etc/resolv.conf、/etc/hostname和/etc/hosts三個檔案是為了解決每個container都擁有自己的hostname和DNS配置，使用了bind mount將主機的檔案，掛載到container內部。/data也是使用了同樣的方式將主機的目錄掛載到container中。下面是主機掛載到container的檔案： 

檢視/dev/disk/by-uuid/88f22c9e-9d5d-4c7e-8984-eba8446361e6是連結檔案指向/dev/sda2，這是主機的根目錄檔案系統。 

container中的volume

容器啟動：docker run -i -v cvol1:/data --volume-driver=convoy ubuntu:latest /bin/bash 。將volume： dockervol掛載到容器目錄/data
容器內看到的掛載資訊：

• 1
• 2
• 3

此時掛載卷資訊： 

Docker Volume Plugin

docker volume plugin框架

docker daemon對volume的管理

 
如上圖，docker daemon結構中有個成員volumes，型別是VolumeStore型別，包含一組管理volume的函式：Create、Remove、List、Get、Refs …。通過兩個變數，管理container和volume的關係。

names : map結構，key是volume的name，value是實現Volume介面的結構物件。儲存該daemon內所有的volume。 
refs : map結構，key是volume的name，value是string陣列儲存引用該volume的container id。 
docker daemon通過volumes變數，就可以管理所有的volume，提供如下命令： 

docker volume 管理

① 基於本地檔案系統的volume 
可以在執行docker create或docker run時，通過-v引數將主機的目錄作為容器的資料卷。這部分功能便是基於本地檔案系統的volume管理。上圖中藍色部分localVolume和Root。這兩個結構就是對主機目錄和檔案進行管理，具體的對應關係如下圖： 
 
從上圖可以看出，基於本地檔案系統的卷管理，Driver便是卷的根目錄/var/lib/docker/volumes。一個卷就是根目錄下的一個子目錄。

② 適配plugin的Volume 
docker為了支援第三方儲存方案，在1.8版本引入volume plugin機制，volumeAdapter和volumeDriverAdapter分別實現了介面Volume和Driver介面，用於表示由plugin提供的volume和plugin driver。在下一小節詳細描述。 
上圖中，全域性變數drivers儲存了所有註冊到docker daemon的Driver。docker daemon需要對volume進行管理操作時，通過GetDriver函式從drivers變數中獲取指定名稱的Driver，通過Driver可以通過Create，Remove，List，Get對Driver中volume進行管理。通過Get函式獲取Volume結構，可以對捲進行管理操作：Name，DriverName，Path，Mount，Unmount。

docker plugin 實現原理

① docker plugin機制 
上一節已經說過docker針對volume plugin實現了兩個適配型別volumeDriverAdapter和volumeAdapter。 
* volumeDriverAdapter : 實現Driver介面，用於抽象各種plugin的驅動，該型別可以適配所有符合規範的volume plugin，對plugin進行管理。 
* volumeAdapter : 實現Volume介面，用於抽象所有plugin提供的volume，該型別可以適配所有符合規範的volume plugin提供的型別，對volume進行管理。 
通過抽象，對於plugin和其提供的volume，docker daemon結構和container結構使用上述兩個適配型別，對plugin和volume進行管理和使用。

上述兩個型別都有一個volumeDriverProxy結構變數proxy，用於與plugin進行通訊。volumeDriverProxy結構實現了與plugin通訊的介面volumeDriver，提供Create、Remove、Path、Mount、Unmount、List、Get介面與通訊。volumeDriverProxy結構的client變數，使用這個變數與Plugin Daemon進行通訊。client變數是Plugin結構中的Client變數是Client結構型別，包含了http.Client型別物件。 
上圖左下方，plugins結構型別的全域性變數storage儲存所有被docker daemon發現的Plugin結構，Plugin結構代表外部外掛。

② docker plugin的發現過程 
docker daemon通過unix域套接字與plugin daemon進行通訊。所以plugin需要讓docker daemon知道plugin的unix域套接字檔案的路徑。在執行命令：docker run … -v volumename:/data –volume-driver=convoy。

plugin發現步驟： 
* docker daemon首先會在/run/docker/plugins搜尋對應的套接字檔案，套接字檔名必須和VolumeDriver名一致，如上述命令，便是搜尋convoy.sock。 
* 如果上一步搜尋不到，則到/etc/docker/plugins和/usr/lib/docker/plugins兩個目錄搜尋spec或json檔案。檔案中指定套接字檔案的URL。如：unix:///var/run/convoy/convoy.sock 。 
* 根據前面兩步發現的unix域套接字URL，構建Plugin物件，並將新建物件加入到全域性變數storage的plugins欄位中。

③ docker volume plugin的使用 
執行docker run命令時，指定引數–volume-driver=convoy。docker daemon會先從storage.plugins中尋找Plugin結構，如果沒有找到，就發起②的發現流程。找到則直接使用Client構建volumeDriverProxy。

④ docker daemon與plugin daemon通訊的API 
前面已經提到過，docker daemon和plugin daemon基於unix域套接字，使用Restful API進行通訊，下面是詳細的API： 
* Plugin.Activate : 傳送一個請求到Plugin，plugin返回其型別，如convoy就返回VolumeDriver。相當於Docker和Plugin daemon直接的連線建立的握手報文。 
* VolumeDriver.Create : 建立一個卷，Docker會發送卷名稱和引數傳送給外掛，卷外掛會根據Docker傳送過來的引數建立一個卷，並和這個卷名稱關聯。 
* VolumeDriver.Mount : 掛載一個捲到本機，Docker會把卷名稱和引數傳送給引數。外掛會返回一個本地路徑給Docker，這個路徑就是卷所在的位置。Docker在建立容器的時候，會將這個路徑掛載到容器中。 
* VolumeDriver.Path : 一個卷建立成功後，Docker會呼叫Path API來獲取這個卷的路徑，隨後Docker通過呼叫Mount API，讓外掛將這個卷掛載到本機。 
* VolumeDriver.Unmount : 當容器退出時，Docker daemon會發送Umount API給外掛，通知外掛這個卷不再被使用，外掛可以對該卷做些清理工作（比如引用計數減一，不同的外掛行為不同）。 
* VolumeDriver.Remove : 刪掉特定的卷時呼叫，當執行”docker rm -v”命令時，Docker會呼叫該API傳送請求給外掛。 
* VolumeDriver.List : 執行docker volume ls命令時，會向plugin傳送該請求，獲取volume list。 
* VolumeDriver.Get : 獲取plugin volume的詳細資訊。

自定義volume plugin

為了方便實現volume plugin，docker提供go-plugins-helper包，提供基礎的功能，僅僅需要實現一個介面volume.Driver，並啟動http server便可。 
 
例子：GlusterFS就是使用這個包，基於glusterfs提供volume。docker-volume-glusterfs