1. 程式人生 > >centos7下MFS分散式檔案系統-實測沒問題!!!

centos7下MFS分散式檔案系統-實測沒問題!!!

實驗原理:MFS是一個具有容錯性的網路分散式檔案系統,它把資料分散在多個物理伺服器上,而呈現給使用者的則是一個統一的資源。

實驗拓撲:192.168.80.181 Master server(主機名:www.aa.com)(元資料伺服器,在整個體系中負責管理檔案系統,維護元資料)

          192.168.80.182 Metlogger server (www.ab.com)(日誌伺服器,備份Master伺服器的變化日誌檔案,當Master伺服器資料丟失損壞時從這裡取得檔案進行恢復)

          192.168.80.183 Client (www.ac.com)

          192.168.80.184 Chunk server1 (www.ad.com) (真正儲存資料的伺服器)

          192.168.80.185 Chunk server2 (www.ae.com)

-----搭建Master server---------

[[email protected] ~]# service firewalld stop

[[email protected] ~]# setenforce 0

[[email protected] ~]# yum install -y zlib-devel

[[email protected] ~]# groupadd mfs                         //建立使用者組

[[email protected]

~]# useradd -s /sbin/nologin -g mfs -M mfs     //建立使用者,-M不用指定家目錄

[[email protected] ~]# tar xf moosefs-3.0.100-1.tar.gz -C /opt/

[[email protected] ~]# cd /opt/moosefs-3.0.100/

[[email protected] ~]# ./configure \

--prefix=/usr/local/mfs \

--with-default-user=mfs \

--with-default-group=mfs \

--disable-mfschunkserver \        //不配置

chunkserver

--disable-mfsmount             //不配置客戶端

[[email protected] ~]# make && make install

//把模板檔案複製為可以被執行的檔案

[[email protected] ~]# cd /usr/local/mfs/etc/mfs/

[[email protected] ~]# cp mfsmaster.cfg.sample mfsmaster.cfg(主配置檔案)

[[email protected] ~]# cp mfsexports.cfg.sample mfsexports.cfg(被掛載目錄及許可權配置檔案)

[[email protected] ~]# cp mfstopology.cfg.sample mfstopology.cfg

[[email protected] ~]# cd /usr/local/mfs/var/mfs/

[[email protected] ~]# cp metadata.mfs.empty metadata.mfs

[[email protected] ~]# chown mfs:mfs /usr/local/mfs/var/mfs   //修改檔案的屬主和屬組

[[email protected] ~]# /usr/local/mfs/sbin/mfsmaster start


[[email protected] ~]# netstat -anpt | grep mfs


-------搭建MetaLogger server---------

[[email protected] ~]# service firewalld stop

[[email protected] ~]# setenforce 0

[[email protected] ~]# yum install -y zlib-devel

[[email protected] ~]# groupadd mfs

[[email protected] ~]# useradd -s /sbin/nologin -g mfs -M mfs

[[email protected] ~]# tar xf moosefs-3.0.100-1.tar.gz -C /opt/

[[email protected] ~]# cd /opt/moosefs-3.0.100/

[[email protected] ~]# ./configure \

--prefix=/usr/local/mfs \

--with-default-user=mfs \

--with-default-group=mfs \

--disable-mfschunkserver \

--disable-mfsmount

[[email protected] ~]# make && make install

[[email protected] ~]# cd /usr/local/mfs/etc/mfs/

[[email protected] mfs]# cp mfsmaster.cfg.sample mfsmaster.cfg

[[email protected] mfs]# cp mfsexports.cfg.sample mfsexports.cfg

[[email protected] mfs]# cp mfsmetalogger.cfg.sample mfsmetalogger.cfg

[[email protected] mfs]# cd /usr/local/mfs/var/mfs

[[email protected] mfs]# mv metadata.mfs.empty metadata.mfs

[[email protected] mfs]#cd /usr/local/mfs/etc/mfs/

[[email protected] mfs]#vi mfsmetalogger.cfg

MASTER_HOST = 192.168.80.181

:wq

[[email protected] mfs]# /usr/local/mfs/sbin/mfsmaster start


[[email protected] mfs]# netstat -anpt | grep mfs


-------搭建chunkserver-----

[[email protected] ~]# service firewalld stop

[[email protected] ~]# setenforce 0

[[email protected] ~]# yum install -y zlib-devel

[[email protected] ~]# groupadd mfs

[[email protected] ~]# useradd -s /sbin/nologin -g mfs -M mfs

[[email protected] ~]# tar xf moosefs-3.0.100-1.tar.gz -C /opt/

[[email protected] ~]# cd /opt/moosefs-3.0.100/

[[email protected] moosefs-3.0.100]# ./configure \

--prefix=/usr/local/mfs \

--with-default-user=mfs \

--with-default-group=mfs \

--disable-mfsmaster \               //不配置master server

--disable-mfsmount

[[email protected] moosefs-3.0.100]# make && make install

[[email protected] moosefs-3.0.100]# cd /usr/local/mfs/etc/mfs/

[[email protected] mfs]# cp mfschunkserver.cfg.sample mfschunkserver.cfg

[[email protected] mfs]# cp mfshdd.cfg.sample mfshdd.cfg

[[email protected] mfs]# vi mfschunkserver.cfg

MASTER_HOST = 192.168.80.181

:wq

[[email protected] mfs]# vi mfshdd.cfg

/data

:wq

[[email protected] mfs]# mkdir /data

[[email protected] mfs]# chown -R mfs:mfs /data

[[email protected] mfs]# /usr/local/mfs/sbin/mfschunkserver start


[[email protected] mfs]# netstat -anpt | grep mfs


----還有一臺185配置相同-------


----------客戶端配置----------

[[email protected] ~]# service firewalld stop

[[email protected] ~]# setenforce 0

[[email protected] ~]# yum install -y zlib-devel

[[email protected] ~]# tar xzvf fuse-2.9.2.tar.gz

[[email protected] ~]# cd fuse-2.9.2

[[email protected] fuse-2.9.2]# ./configure

[[email protected] fuse-2.9.2]# make && make install

[[email protected] fuse-2.9.2]# vi /etc/profile

export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

[[email protected] fuse-2.9.2]# source /etc/profile

-----------安裝mfs客戶端------------

[[email protected] fuse-2.9.2]# groupadd mfs

[[email protected] fuse-2.9.2]# useradd -s /sbin/nologin -g mfs -M mfs

[[email protected] ~]# tar xf moosefs-3.0.100-1.tar.gz -C /opt/

[[email protected] ~]# cd /opt/moosefs-3.0.100/

[[email protected] moosefs-3.0.100]# ./configure \

--prefix=/usr/local/mfs \

--with-default-user=mfs \

--with-default-group=mfs \

--disable-mfsmaster \

--disable-mfschunkserver \

--enable-mfsmount

[[email protected] moosefs-3.0.100]# make && make install

[[email protected] moosefs-3.0.100]# mkdir /opt/mfs  //建立掛接點

[[email protected] moosefs-3.0.100]# modprobe fuse  //載入fuse模組到核心

[[email protected] moosefs-3.0.100]# /usr/local/mfs/bin/mfsmount /opt/mfs -H 192.168.80.181       //master地址

[[email protected] moosefs-3.0.100]# df -hT


[[email protected] moosefs-3.0.100]# umount /opt/mfs   //如果要解除安裝使用這條命令

----優化客戶端------

[[email protected] moosefs-3.0.100]# vi /etc/profile

export PATH=/usr/local/mfs/bin:$PATH

:wq

[[email protected] moosefs-3.0.100]# source /etc/profile

[[email protected] moosefs-3.0.100]# mfsgetgoal -r /opt/mfs/    //檢視備份目錄中檔案的拷貝份數


[[email protected] moosefs-3.0.100]# mfssetgoal -r 3 /opt/mfs/  //設定備份目錄中檔案的拷貝份數,不要大於chunkserver的總數

[[email protected] moosefs-3.0.100]# mfsgetgoal 檔名 //檢視指定檔案或目錄的拷貝份數


-----MASTER-server-----啟動監控程式--

[[email protected] moosefs-3.0.100]# /usr/local/mfs/sbin/mfscgiserv


測試檢視:

http://192.168.80.181:9425/mfs.cgi?masterhost=www.aa.com  //注意主機名

相關推薦

centos7MFS分散式檔案系統-實測問題

實驗原理:MFS是一個具有容錯性的網路分散式檔案系統,它把資料分散在多個物理伺服器上,而呈現給使用者的則是一個統一的資源。實驗拓撲:192.168.80.181 Master server(主機名:www.aa.com)(元資料伺服器,在整個體系中負責管理檔案系統,維護元資料

centos7glusterFs 分散式檔案系統環境搭建

1、GlusterFS簡介: GlusterFS是一個開源的分散式檔案系統 相關術語如下: - Brick:GFS中的儲存單元,通過是一個受信儲存池中的伺服器的一個匯出目錄。可以通過主機名和目錄名來標識,如’SERVER:EXPORT’ - Clien

如何搭建MFS分散式檔案系統(二)

chunkServer資料儲存節點上的操作記錄 1)關閉防火牆(selinux也要關閉,執行setenforce 0) [[email protected] ~]# /etc/init.d/iptables stop 2)建立mfs使用者和組 [[email protec

如何搭建MFS分散式檔案系統

1什麼是分散式檔案系統? 是一個具有容錯性的網路分散式檔案系統,它將資料分散存放在多個物理伺服器或單獨磁碟或分割槽上,確保一份資料 有多個備份副本,對於訪問MFS的客戶端或者使用者來說,整個分散式網路檔案系統叢集看起來就像一個資源一樣,也就是說呈現給使用者的是一個統一的資源。

【親測】centos7掛載ntfs檔案系統型別的行動硬碟

【親測】centos7下掛載ntfs檔案系統型別的行動硬碟 【參考】 【流程】 2.解壓,配置,編譯,安裝 $tar zxvf ntfs-3g_ntfsprogs-2017.3.23.tgz $ cdntfs-3g_ntfsprogs-2017.3.23/

mfs分散式檔案系統配置

MFS是什麼 MFS全稱MooseFS,是檔案管理系統的抽象層,將使用者的資料通過master之後,儲存在多個網路儲存節點上面,這個過程對於使用者來說時透明的,並且MFS具有很強大的網路容錯能力;MFS的特性 1.是一個通用的檔案系統,不需要商城應用軟體提供介面,直接可以進

centos7fastDFS分散式檔案伺服器的搭建

基礎概念 首先簡單瞭解一下基礎概念,FastDFS是一個開源的輕量級分散式檔案系統,由跟蹤伺服器(tracker server)、儲存伺服器(storage server)和客戶端(client)三個部分組成,主要解決了海量資料儲存問題,特別適合以中

Mfs 分散式檔案系統學習

1.MFS 分散式檔案系統介紹: MFS 特性: 1. Free(GPL) 2. 2. 通用檔案系統,不需要修改上層應用就可以使用 3. 可以線上擴容,體系架構可伸縮性極強。#直接 chunkserver 4. 部署簡單。 5. 高可用,可設定任意的

mfs 分散式檔案系統

12.  mfs官方關於1.6.x 的介紹   翻譯人(QQ群戰友:Cuatre ) View on new features of next release v 1.6 of Moose File System 關於對MFS(Moose File System)下一個釋出版本V1.6新特性的

(三)CentOS7搭建FastDFS V5.11分散式檔案系統

第一篇主要講下載相關的軟體安裝包; 第二篇主要講FastDFS的搭建; 第三篇主要講FastDFS與Nginx的整合; 1、FastDFS與Nginx的整合並測試 前面兩篇博文已對FastDFS的安裝和配置,做了比較詳細的講解。FastDFS的基礎模組都搭好了,現在開始測試下載。

(二)CentOS7搭建FastDFS V5.11分散式檔案系統

第一篇主要講下載相關的軟體安裝包; 第二篇主要講FastDFS的搭建; 第三篇主要講FastDFS與Nginx的整合; 1、CentOS7中FastDFS搭建     1.1整理一下我們下載的軟體包 fastdfs-5.11 fastdfs-nginx-m

(一)CentOS7搭建FastDFS V5.11分散式檔案系統

宣告:本文章參考 https://blog.csdn.net/m0_37797991/article/details/73381648,此博文連線為我老師的博文連結,在搭建FastDFS V5.11分散式檔案系統環境中為記錄適合自己的環境搭建過程,特重寫此博文! 1、緒論 因學習以

CentOS7搭建FastDFS V5.11分散式檔案系統及Java整合詳細過程(一)

1.緒論 最近要用到fastDFS,所以自己研究了一下,在搭建FastDFS的過程中遇到過很多的問題,為了能幫忙到以後搭建FastDFS的同學,少走彎路,與大家分享一下。FastDFS的作者淘寶資深架構餘慶,這個優秀的輕量及的分散式檔案系統的開源沒多久

在linux Ubuntu16上搭建ceph分散式檔案系統(四節點)實測有效

特別注意:如果命令直接複製粘貼出現錯誤,則手動輸入可解決參考教程:第一步~~~.準備  4個Ubuntu 16.04 Server 虛擬機器(可以使用VMware或者VirtualBox)配置好每個虛擬機器的IP 以及hostname (很重要!)我的四臺虛擬機器配置如下:(

CentOS7搭建FastDFS V5.11分散式檔案系統及Java整合詳細過程(三)

1.測試 前面兩篇博文已對FastDFS的安裝和配置,做了比較詳細的講解。FastDFS的基礎模組都搭好了,現在開始測試下載。 1.1 配置客戶端 同樣的,需要修改客戶端的配置檔案: vim /etc/fdfs/client.conf

分散式檔案系統MFS、Ceph、GlusterFS、Lustre的比較

原文:http://blog.csdn.net/metaxen/article/details/7108958 MooseFS(MFS) Ceph GlusterFS Lustre Metadata

分散式檔案系統MFS的基本用法以及高可用實現

實驗主機環境(redhat 6.5 x86_64bit) ip hostname softwares to install 192.168.1.8 cobbler1 mfs-master cgi-server keepali

分散式檔案系統MFS部署

MFS 簡介 MFS 即Moosefs ,是一款網路分散式檔案系統,是一個將資料分散在多臺伺服器上,然後通過網路掛載在客戶端,使客戶端能像使用本地硬碟一樣儲存資料。MFS也像其他類Unix檔案系統一樣,包含了層級結構(目錄樹),儲存檔案屬性(許可權,最後訪問,最後修改等),

linux學習之搭建高可用分散式檔案系統MFS

停止mfs [[email protected] ~]# umount /mnt/mfs/ [[email protected] chunk1]# mfschunkserver stop [[email protected] chunk1]# mfschunkserver sto

每天進步一點點——分散式檔案系統的本地快取

    在分散式檔案系統中,為了提高系統的效能,常常會引入不同型別的快取儲存系統(演算法優化所帶來的的效果可能遠遠不如快取帶來的優化效果)。在軟體中快取儲存系統一般可分為了兩類:一、分散式快取,例如:Memcached、Redis、淘寶的Tair等,二、本地快取,例如:Facebook的flushcache等