建立ocfs2 cluster 首先，在所有節點上要有一個共享的塊裝置。 具體可以通過不同機制來實現。例如，通過把一個節點的塊裝置以iscsi的形式讓其他節點掛載；或者在FC-SAN架構下，通過配置盤陣，讓不同的節點看到同一個塊裝置。當然，具體對映的linux裝置名可能是不同的，例如在一個節點上是/dev/sdc，在另一個節點上是/dev/sde。 下面一個已經裝好的例子 [[email protected] ~]# mounted.ocfs2 -f Device Stack Cluster F Nodes /dev/sde1 o2cb tncloud06, tncloud10 [[email protected]

~]# mounted.ocfs2 -f Device Stack Cluster F Nodes /dev/sdc1 o2cb tncloud06, tncloud10 第二，linux核心要支援ocfs。例如 # lsmod|grep ocfs ocfs2_dlmfs 27704 1 ocfs2_stack_o2cb 13279 1 ocfs2_dlm 229980 1 ocfs2_stack_o2cb ocfs2 1079135 3 ocfs2_stackglue 17171 3 ocfs2,ocfs2_stack_o2cb,ocfs2_dlmfs ocfs2_nodemanager 237661 12 ocfs2,ocfs2_stack_o2cb,ocfs2_dlmfs,ocfs2_dlm jbd2 102940 1 ocfs2 OCFS2有自己的叢集服務結構，叫做O2CB，它包括： NM：節點管理器，它對cluster.conf檔案中所有節點進行的監控。 HB：心跳服務（Heart beat service），他在節點離開或加入rac時提示up和down的訊息。 TCP：控制節點間的通訊。 DLM：分散式鎖管理器，它持續跟蹤所有的鎖，鎖的所有者及狀態。 CONFIGFS：使用者配置檔案系統驅動空間，掛節點是/config DLMFS:使用者空間和核心空間DLM的介面。 值得注意的是，儘管linux支援ocfs2，但常見的linux發行版核心可能並沒有編譯ocfs2模組。筆者自行在centos7上編譯了支援ocfs2的核心。 # uname -a Linux tncloud10 3.10.0-327.28.2.el7.tn.1.x86_64 #1 SMP Thu Aug 11 14:48:56 CST 2016 x86_64 x86_64 x86_64 GNU/Linux # cat /boot/config-3.10.0-327.28.2.el7.x86_64 |grep OCFS2 CONFIG_OCFS2_FS=m CONFIG_OCFS2_FS_O2CB=m CONFIG_OCFS2_FS_USERSPACE_CLUSTER=m CONFIG_OCFS2_FS_STATS=y CONFIG_OCFS2_DEBUG_MASKLOG=y # CONFIG_OCFS2_DEBUG_FS is not set 第三，安裝ocfs2-tools使用者工具。 # rpm -qa|grep ocfs ocfs2-tools-1.8.4-1.12.el7.x86_64 主要提供了以下工具 格式化工具 mkfs.ocfs2 叢集管理工具 o2cb_ctl /etc/rc.d/init.d/o2cb /etc/rc.d/init.d/ocfs2 等等。 例如，檢視ocfs2檔案系統屬性。 # tunefs.ocfs2 -Q "UUID = %U\nNumSlots = %N\nBlock size = %B bytes\nCluster size = %T bytes\nRoot directory block number = %R\nSystem directory block number = %Y\nFirst cluster group block number = %P\nVolume label = %V\nCompat flags = %M\nIncompat flags = %H\nRO Compat flags = %O\n" /dev/sdc1 UUID = B8F7C05388CD4814BEDD4AE2A1C0A001 NumSlots = 8 Block size = 4096 bytes Cluster size = 65536 bytes Root directory block number = 33 System directory block number = 34 First cluster group block number = 16 Volume label = Compat flags = backup-super strict-journal-super Incompat flags = sparse extended-slotmap inline-data metaecc xattr indexed-dirs refcount discontig-bg RO Compat flags = unwritten usrquota grpquota 第四，確保節點之間網路互通。 第五，在各個節點上，建立和編輯一個檔案 /etc/ocfs2/cluster.conf 舉例如下 #start cluster: heartbeat_mode = local node_count = 2 name = tncloud node: number = 0 cluster = tncloud ip_port = 7777 ip_address = 10.10.150.6 name = tncloud06 node: number = 1 cluster = tncloud ip_port = 7777 ip_address = 10.10.150.10 name = tncloud10 #end 第六，啟動ocfs2 clsuter。 # /etc/init.d/o2cb load # /etc/init.d/o2cb online # /etc/init.d/o2cb status Driver for "configfs": Loaded Filesystem "configfs": Mounted Stack glue driver: Loaded Stack plugin "o2cb": Loaded Driver for "ocfs2_dlmfs": Loaded Filesystem "ocfs2_dlmfs": Mounted Checking O2CB cluster "tncloud": Online Heartbeat dead threshold: 61 Network idle timeout: 30000 Network keepalive delay: 2000 Network reconnect delay: 2000 Heartbeat mode: Local Checking O2CB heartbeat: Active 如果提示Checking O2CB heartbeat: Not active，說明還沒掛載共享磁碟。 第七，掛載共享磁碟。 找一個節點，只需執行一次。 # mkfs.ocfs2 -C 64K -T vmstore -N 8 -J block64 --fs-feature-level=max-features /dev/sde1 -F 然後，在所有節點上mount。 # mount -t ocfs2 /dev/sdc1 /mnt/tncloud 成功mount之後，例如 [[email protected] ~]# mount|grep ocfs2 ocfs2_dlmfs on /dlm type ocfs2_dlmfs (rw,relatime) /dev/sdc1 on /mnt/tncloud type ocfs2 (rw,relatime,_netdev,heartbeat=local,nointr,data=ordered,errors=remount-ro,atime_quantum=60,coherency=full,user_xattr,acl) 至此建立工作完成。 第八，如果寫入/etc/fstab，必須加上_netdev選項，指示必須在網路可用情況下再進行mount。例如 UUID="b8f7c053-88cd-4814-bedd-4ae2a1c0a001" /mnt/tncloud ocfs2 _netdev,defaults 0 0 參考 增加ocfs2節點 第一，檢查numslots是否滿足增加節點的需求。確保cluster線上，執行 # tunefs.ocfs2 -Q "NumSlots = %N\n" /dev/sde1 NumSlots = 8 如果需要修改， # tunefs.ocfs2 -N <numslots> device 增加節點分為兩種情況，線上增加和離線增加。 線上增加新的ocfs2節點 使用o2cb_ctl 工具，在每個節點上執行： # o2cb_ctl -C -i -n NODENAME -t node -a number=NODENUM -a ip_address=IPADDR -a ip_port=IPPORT -a cluster=CLUSTERNAME man手冊的例子 Add node10 to an online cluster: $ o2cb_ctl -C -i -n node10 -t node -a number=10 -a ip_address=192.168.1.10 -a ip_port=7777 -a cluster=mycluster 引數說明 -C Create an object in the OCFS2 Cluster Configuration. 表示建立一個新的物件。 -i Valid only with -C. When creating something (node or cluster), it will also install it in the live cluster. If the parameter is not specified, then only update the /etc/ocfs2/cluster.conf. 意思是不但更新cluster.conf，也同時更新clutser相關程序的記憶體資料。 -n object object is usually the node name or cluster name. In the /etc/ocfs2/cluster.conf file, it would be the value of the name parameter for any of the sections (cluster or node). 對於新增新的節點，-n引數是代表 node name。 -t type type can be cluster, node or heartbeat. 對於新增index節點，-t引數是node。 -a <attribute> With -C, <attribute> is in format "parameter=value", where the parameter is a valid parameter that can be set in the file /etc/ocfs2/cluster.conf. 指明各個屬性值，例如ip_address=1.2.3.4。 離線cluster環境中增加新的節點 可以使用console，或者直接手動修改cluster.conf檔案，然後通過console或者直接拷貝cluster.conf檔案到所有的節點。 也可以使用o2cb_ctl，例如 # o2cb_ctl -C -n NODENAME -t node -a number=NODENUM -a ip_address=IPADDR -a ip_port=IPPORT -a cluster=CLUSTERNAME  離線環境不需要加引數“-i”。