1. 程式人生 > >搭建分散式檔案系統步驟

搭建分散式檔案系統步驟

一..分散式檔案系統介紹

是一款開源的輕量級分散式檔案系統,採用純C實現,目前提供了C,Java和PHP的API,主要用它來對檔案進行管理,功能包括檔案儲存,檔案同步,檔案訪問

FastDFS服務端有兩個角色:跟蹤器(tracker)和儲存節點(storage)。

跟蹤器主要做排程工作,在訪問上起負載均衡的作用。

儲存節點主要的工作:儲存、同步和提供存取介面。

二.上傳檔案流程

上傳檔案互動過程:
1. client詢問tracker可以執行上傳操作storage,不需要附加引數;
2. tracker返回一臺可用的storage;
3. client直接和storage通訊完成檔案上傳

三.下載檔案流程

1. client詢問tracker下載檔案的storage,引數為檔案標識(卷名和檔名);
2. tracker返回一臺可用的storage;
3. client直接和storage通訊完成檔案下載。

四:搭建圖片伺服器

1.上傳依賴的環境

安裝FastDFS需要先從官網下載原始碼,然後進行編譯,但編譯依賴gcc環境,

如果沒有gcc環境,需要安裝gcc

yum -y install gcc-c++

 FastDFS依賴libevent庫,需要安裝:

yum -y install libevent

2.上傳安裝檔案

FastDFS_v5.0.5

fastdfs-nginx-module_v1.16

libfastcommonV1.0.7

nginx-1.8.1

3.安裝libfastcommon

libfastcommon是FastDFS官方提供的,libfastcommon包含了FastDFS執行所需要的一些基礎庫。

cd /usr/local

tar -zxvf libfastcommonV1.0.7.tar.gz

cd libfastcommon-1.0.7

./make.sh

./make.sh install

注意:libfastcommon安裝好後會自動將檔案拷貝至/usr/lib64下,由於FastDFS程式引用usr/lib目錄,所以需要將/usr/lib64下的庫檔案拷貝至/usr/lib

下。

4.安裝

FastDFS_v5.05.

i,解壓FastDFS_v5.05.tar.gz

tar -zxvf FastDFS_v5.05.tar.gz

ii,cd FastDFS

./make.sh

./make.sh install


a.啟動tracker服務

修改/etc/fdfs /tracker.conf檔案

base-path=/usr/local/software/FastDFS/tracker

啟動tracker/usr/bin/fdfs_trackerd   /etc/fdfs/tracker.conf

重啟使用命令:/usr/bin/fdfs_trackerd  /etc/fdfs/tracker.conf  restart


b.安裝storage服務

如果是在不同的伺服器安裝,則前面的兩步需要重新執行。

配置storage服務。修改/etc/fdfs /storage.conf檔案

啟動storage服務,此處會時間長一些

/usr/bin/fdfs_storaged   /etc/fdfs/storage.conf   restart



5.配置客戶端

/usr/local/FastDFS/client 裡面的libfdfsclient.so 拷貝到 /usr/lib 這一步非常重要(nginx

修改配置檔案/etc/fdfs/client.conf

測試 /usr/bin/fdfs_test /  etc/fdfs/client.conf  upload   /home/hgz/shuai.jpg

6.安裝nginx以及nginx外掛

nginx需要依賴一些環境

gcc(前面已經安裝,所以不用再安裝)

yum install gcc-c++

n PCRE

yum install -y pcre pcre-devel

n zlib

yum install -y zlib zlib-devel

n openssl

yum install -y openssl openssl-devel

安裝nginx,和nginx外掛,兩者結合

可以使用官方提供的nginx外掛。要使用nginx外掛需要重新編譯。

fastdfs-nginx-module_v1.16.tar.gz

1、解壓外掛壓縮包

2、修改fastdfs-nginx-module/src/config檔案,把其中的local去掉。

3、fastdfs-nginx-module/src/mod_fastdfs.conf檔案複製到/etc/fdfs目錄下。編輯:

4、解壓nginx,進入nginx目錄

5、nginx重新config

./configure --add-module=/usr/local/fastdfs-nginx-module/src

6、make

7、make install

注意:nginx預設安裝到了/usr/local/nginx目錄下,所以接下來要進入此目錄中

8.、nginx的配置 cd /usr/local/nginx/conf                                                                                                                                            

在nginx的配置檔案中新增一個location

9、啟動nginx

10、進入/usr/local/nginx/sbin目錄

11、[[email protected] sbin]# ./nginx








相關推薦

搭建分散式檔案系統步驟

一..分散式檔案系統介紹 是一款開源的輕量級分散式檔案系統,採用純C實現,目前提供了C,Java和PHP的API,主要用它來對檔案進行管理,功能包括檔案儲存,檔案同步,檔案訪問 FastDFS服務端有兩個角色:跟蹤器(tracker)和儲存節點(storage)。 跟蹤

fastdfs + nginx 搭建分散式檔案系統(單機模式)

FastDFS安裝手冊 FastDFS之叢集部署:  http://blog.csdn.net/zhu_

Docker搭建分散式檔案系統fastDFS及SpringBoot整合fastDFS

docker安裝fastdfs映象 docker pull morunchang/fastdfs 執行tracker docker run -d --name tracker --net=host morunchang/fastdfs sh tr

從零搭建分散式檔案系統MinIO比FastDFS要更合適

前兩天跟大家分享了一篇關於如何利用FastDFS元件來自建分散式檔案系統的文章,有興趣的朋友可以閱讀下《[用asp.net core結合fastdfs打造分散式檔案儲存系統](https://www.cnblogs.com/yilezhu/p/12797543.html)》。通過留言發現大家雖然感興趣,但是都

Hadoop分散式檔案系統搭建以及基本操作

1. 環境搭建 jdk-1.8 jdk下載地址 export JAVA_HOME = /usr/lib/java/jdk1.7.0_21 export PATH =$JAVA_HOME/bin:$PATH hadoop-2.7.3 hadoop各個版本

如何搭建MFS分散式檔案系統(二)

chunkServer資料儲存節點上的操作記錄 1)關閉防火牆(selinux也要關閉,執行setenforce 0) [[email protected] ~]# /etc/init.d/iptables stop 2)建立mfs使用者和組 [[email protec

如何搭建MFS分散式檔案系統

1什麼是分散式檔案系統? 是一個具有容錯性的網路分散式檔案系統,它將資料分散存放在多個物理伺服器或單獨磁碟或分割槽上,確保一份資料 有多個備份副本,對於訪問MFS的客戶端或者使用者來說,整個分散式網路檔案系統叢集看起來就像一個資源一樣,也就是說呈現給使用者的是一個統一的資源。

(三)CentOS7搭建FastDFS V5.11分散式檔案系統

第一篇主要講下載相關的軟體安裝包; 第二篇主要講FastDFS的搭建; 第三篇主要講FastDFS與Nginx的整合; 1、FastDFS與Nginx的整合並測試 前面兩篇博文已對FastDFS的安裝和配置,做了比較詳細的講解。FastDFS的基礎模組都搭好了,現在開始測試下載。

(二)CentOS7搭建FastDFS V5.11分散式檔案系統

第一篇主要講下載相關的軟體安裝包; 第二篇主要講FastDFS的搭建; 第三篇主要講FastDFS與Nginx的整合; 1、CentOS7中FastDFS搭建     1.1整理一下我們下載的軟體包 fastdfs-5.11 fastdfs-nginx-m

(一)CentOS7搭建FastDFS V5.11分散式檔案系統

宣告:本文章參考 https://blog.csdn.net/m0_37797991/article/details/73381648,此博文連線為我老師的博文連結,在搭建FastDFS V5.11分散式檔案系統環境中為記錄適合自己的環境搭建過程,特重寫此博文! 1、緒論 因學習以

大資料-Hadoop-HDFS(分散式檔案系統)環境搭建

1:Hadoop三大核心元件 A:分散式檔案系統HDFS B:分散式資源排程器 C:分散式計算框架MapReduce 2:HDFS簡介: HDFS架構:HDFS採用Master/Slave架構 即:一個Master(NameNode)對應多個Slave(DataNode)

CentOS7搭建FastDFS V5.11分散式檔案系統及Java整合詳細過程(一)

1.緒論 最近要用到fastDFS,所以自己研究了一下,在搭建FastDFS的過程中遇到過很多的問題,為了能幫忙到以後搭建FastDFS的同學,少走彎路,與大家分享一下。FastDFS的作者淘寶資深架構餘慶,這個優秀的輕量及的分散式檔案系統的開源沒多久

centos7下glusterFs 分散式檔案系統環境搭建

1、GlusterFS簡介: GlusterFS是一個開源的分散式檔案系統 相關術語如下: - Brick:GFS中的儲存單元,通過是一個受信儲存池中的伺服器的一個匯出目錄。可以通過主機名和目錄名來標識,如’SERVER:EXPORT’ - Clien

Nginx服務搭建負載均衡,反向代理,快取加速,訪問分散式檔案系統高可用

主配置檔案如下:[[email protected]~]#vim /usr/local/nginx/conf/nginx.conf server{ listen 8099               //埠號 location / {      autoindex on;      autoinde

在linux Ubuntu16上搭建ceph分散式檔案系統(四節點)實測有效!

特別注意:如果命令直接複製粘貼出現錯誤,則手動輸入可解決參考教程:第一步~~~.準備  4個Ubuntu 16.04 Server 虛擬機器(可以使用VMware或者VirtualBox)配置好每個虛擬機器的IP 以及hostname (很重要!)我的四臺虛擬機器配置如下:(

CentOS7搭建FastDFS V5.11分散式檔案系統及Java整合詳細過程(三)

1.測試 前面兩篇博文已對FastDFS的安裝和配置,做了比較詳細的講解。FastDFS的基礎模組都搭好了,現在開始測試下載。 1.1 配置客戶端 同樣的,需要修改客戶端的配置檔案: vim /etc/fdfs/client.conf

GlusterFs 分散式檔案系統環境搭建

1.關閉防火牆和SELinux (對於這個安全模組,有興趣可以看看)systemctl stop firewalld systemctl disable firewalld vi/etc/selinu

【GlusterFS學習之一】:GlusterFS分散式檔案系統的基本概念及搭建

最近因為工作的需要在接觸GlusterFS,在未來的一段時間之內應該都要與之打交道,剛剛接觸分散式檔案系統,對很多概念和機制都不是很清楚,通過一段時間的學習有一點淺顯的認識,那麼就把這段時間的瞭解到的

linux學習之搭建高可用分散式檔案系統MFS

停止mfs [[email protected] ~]# umount /mnt/mfs/ [[email protected] chunk1]# mfschunkserver stop [[email protected] chunk1]# mfschunkserver sto

分散式檔案系統FastDFS簡介、搭建、與SpringBoot整合實現圖片上傳

之前大學時搭建過一個FastDFS的圖片伺服器,當時只是抱著好奇的態度搭著玩一下,當時搭建採用了一臺虛擬機器,tracker和storage服務在一臺機器上放著,最近翻之前的部落格突然想著在兩臺機器上搭建試一下,順便整合了SpringBoot實現了一下圖片的上傳服務。 新的閱讀體驗地址:http://www