1. 程式人生 > >技術解析系列 | PouchContainer volume機制解析

技術解析系列 | PouchContainer volume機制解析

增加 數據庫 源碼 文件中 集群 eat 特性 運行時 管理平臺

PouchContainer 是阿裏巴巴集團開源的高效、輕量級企業級富容器引擎技術,擁有隔離性強、可移植性高、資源占用少等特性。可以幫助企業快速實現存量業務容器化,同時提高超大規模下數據中心的物理資源利用率。已助力阿裏巴巴集團實現在線業務 100% 容器化,雙 11 容器規模達到百萬級。

PouchContainer volume是專門用來解決容器的數據持久化的機制,想要了解volume的機制,就需要了解PouchContainer的鏡像機制。PouchContainer,和Docker一樣,實現了鏡像的分層機制。所謂鏡像分層機制,是指容器的鏡像實際上是由多個只讀的鏡像層(layer)疊加而成,這樣不同的鏡像就可以復用鏡像層,大大加快了鏡像分發的效率,同時也減少了容器啟動時間。當容器需要啟動時,pouchd(下文中提到的pouchd均指PouchContainer daemon)會在啟動鏡像的最上層添加一個讀寫層,後續容器所有的讀寫操作就會記錄在這個讀寫層中。這樣也引入了一個問題,那就是容器數據的持久化。假如我們將容器刪除,再次通過該鏡像啟動時,容器之前所做的修改都丟失了,這對於有狀態的應用(如數據庫)是致命的。

volume繞過了鏡像機制,讓容器中的數據以正常的文件或者目錄的形式存在於宿主機上,當容器停止或刪除時,並不會影響到volume中的數據,從而實現了數據的持久化,而且volume數據可以在不同的container之間共享。

  1. PouchContainer volume整體架構
    該部分內容可能涉及PouchContainer的volume源碼實現。

PouchContainer volume整體架構目前主要由以下幾部分構成:

VolumeManager:該結構是volume相關操作的入口。

Core:Core是volume的核心模塊,包含了volume操作的業務邏輯

Store:負責存儲volume元數據,目前元數據存儲在本地的boltdb文件中。

Driver:volume driver接口,抽象了volume相關驅動的基本功能

Modules:具體的volume driver,目前存在local, tmpfs, volume plugin, ceph四種volume驅動

pouch_volume_arch.png | center | 747x624
VolumeManager是PouchContainer中的存儲組件(其他組件包括ContainerManager, ImageManager、NetworkManager等),它是所有volume操作的入口,目前提供了Create/Remove/List/Get/Attach/Detach接口。Core包含了volume操作的核心邏輯,向下負責調用底層具體的volume driver,實現volume的創建、刪除、attach、detach等操作,同時調用Store,實現volume元數據管理。Store模塊專門負責volume的元數據管理,volume的相關狀態都會通過Store進行存儲,之所以將元數據管理專門作為一個模塊,是為了將來方便擴展,目前volume元數據是存儲在boltdb,未來也可能存入etcd等。Driver抽象了volume driver需要實現的接口,一個具體的volume driver需要實現如下接口:

type Driver interface {
// Name returns backend driver‘s name.
Name(Context) string

    // StoreMode defines backend driver‘s store model.
    StoreMode(Context) VolumeStoreMode

    // Create a volume.
    Create(Context, *types.Volume, *types.Storage) error

    // Remove a volume.
    Remove(Context, *types.Volume, *types.Storage) error

    // Path returns volume‘s path.
    Path(Context, *types.Volume) (string, error)

}

  1. PouchContainer支持的volume類型
    目前,PouchContainer支持三種具體的volume類型,即local, tmpfs和ceph,還通過volume plugin這種通用的存儲插件機制支持更多的第三方存儲。

2.1 local volume
local volume是PouchContainer默認的volume類型,適合存儲需要持久化的數據,它的生命周期獨立於容器的生命周期。

當你創建一個volume時,假如沒有指定driver類型,則默認local為driver類型。local volume本質上,是pouchd到/var/lib/pouch/volume目錄下創建的一個子目錄。相較於docker,PouchContainer的local volume擁有更多的實用特性,包括:

指定掛載目錄創建volume

可以指定volume大小

首先我們可以指定目錄創建一個local volume。該特性在生產中非常實用。對於某些應用,如數據庫,我們需要掛載專門的塊設備,用於存儲數據庫數據,例如運維人員將塊設備格式化後,掛載到/mnt/mysql_data目錄。執行以下命令,我們就創建了一個掛載在/mnt/mysql_data的volume,然後可以將該volume掛載到容器指定目錄,啟動容器。

pouch volume create --driver local --option mount=/mnt/mysql_data --name mysql_data
其次,我們可以限制volume的大小。該功能依賴於底層文件系統提供的quato功能,目前支持的底層文件系統為ext4和xfs,同時對內核版本也有要求。

pouch volume create --driver local --option size=10G --name test_quota
2.2 tmpfs volume
tmpfs volume的數據並不會持久化到硬盤中去,只存儲於內存中 (若內存不足,則存入swap),訪問速度快,但當容器停止運行時,該volume裏面的所有信息都會消失,因此tmpfs volume只適合保存一些臨時和敏感的數據。

tmpfs volume默認存儲/mnt/tmpfs目錄下,你也可以通過 -o mount 指定其掛載路徑。不過指定tmpfs的掛載路徑沒有什麽意義,因為tmpfs內容直接存儲在內存中。

pouch volume create --driver tmpfs --name tmpfs_test
2.3 ceph volume
ceph是一種比較特殊的volume類型,ceph volume是將數據存儲到ceph集群(ceph rbd 存儲)中,因此可以實現volume跨物理機的遷移。

目前外界暫時不能使用ceph volume。從PouchContainer volume架構圖可知,ceph driver和driver層之間還有一層alibaba storage controller(註意:alibaba storage controller只是一個代稱),這是阿裏巴巴內部的一套容器存儲管理平臺,後面對接了ceph/pangu/nas等諸多存儲方案。PouchContainer通過與該容器存儲管理平臺對接,可以直接利用ceph提供volume。後期我們可能開源該容器存儲管理平臺。

2.4 volume plugin
volume plugin是一種通用性的volume,準確來說它是一種volume的擴展機制。目前docker通過插件機制可以管理諸多的第三方存儲,PouchContainer也實現了該volume plugin機制,可以無縫對接原先docker已經存在的volume plugin。

作為一個volume plugin,必須實現volume plugin protocol。volume plugin其實本質上是一個web server,該web server實現了如下服務,所有請求均為POST請求。

/VolumeDriver.Create // Volume創建服務

/VolumeDriver.Remove // Volume刪除服務

/VolumeDriver.Mount // Volume掛載服務

/VolumeDriver.Path // Volume掛載路徑服務

/VolumeDriver.Unmount // Volume卸載服務

/VolumeDriver.Get // Volume Get服務

/VolumeDriver.List // Volume List服務

/VolumeDriver.Capabilities // Volume Driver能力服務

  1. bind mounts與volumes
    PouchContainer目前支持兩種數據持久化的方式,除了上述的volumes,還可以利用bind mounts。bind mounts,顧名思義,指的是直接將宿主機的目錄掛載到容器裏面。

pouch run -d -t -v /hostpath/data:/containerpath/data:ro ubuntu sh
上述這條命令就將宿主機上的/hostpath/data目錄已只讀的方式掛載到容器的/containerpath/data目錄下。

bind mounts依賴於宿主機文件系統目錄結構,而volume,在PouchContainer中有專門的機制進行管理。volumes相對於bind mounts,有以下優勢:

volumes相對於bind mounts,更容易進行備份和管理;

PouchContainer提供了專門的CLI和API,用來管理volumes;

volumes適合在多個容器之間安全地共享;

volumes提供了插件機制,可以更加方便地對接第三方存儲。

  1. PouchContainer volume未來的發展
    CSI,即Container Storage Interface(該項目定義了容器調度層和容器之間的存儲接口),目前已發布了v0.2版本。Pouch未來可能增加一種通用類型的driver,用於對接已實現CSI接口的存儲系統。

  2. 總結
    本文介紹了PouchContainer的volume機制, volume機制主要是為了解決容器數據持久化的問題。PouchContainer目前支持local,tmpfs,ceph三種driver,同時支持以volume plugin的形式對接更多的第三方存儲。

技術解析系列 | PouchContainer volume機制解析