2. 程式人生 > >FastDFS與Nginx的配置說明

FastDFS與Nginx的配置說明

阿新 • • 發佈：2017-10-30
data pub 線性 標識 空間不足 服務端 hub types tcp

1.簡介

FastDFS是一個開源的輕量級分布式文件系統，它對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件為載體的在線服務，如相冊網站、視頻網站等等。FastDFS為互聯網量身定制，充分考慮了冗余備份、負載均衡、線性擴容等機制，並註重高可用、高性能等指標，使用FastDFS很容易搭建一套高性能的文件服務器集群提供文件上傳、下載等服務。 FastDFS服務端有兩個角色：跟蹤器（tracker）和存儲節點（storage）。跟蹤器主要做調度工作，在訪問上起負載均衡的作用。存儲節點存儲文件，完成文件管理的所有功能：就是這樣的存儲、同步和提供存取接口，FastDFS同時對文件的metadata進行管理。所謂文件的meta data就是文件的相關屬性，以鍵值對（key valuepair）方式表示，如：width=1024，其中的key為width，value為1024。文件metadata是文件屬性列表，可以包含多個鍵值對。跟蹤器和存儲節點都可以由一臺或多臺服務器構成。跟蹤器和存儲節點中的服務器均可以隨時增加或下線而不會影響線上服務。其中跟蹤器中的所有服務器都是對等的，可以根據服務器的壓力情況隨時增加或減少。 為了支持大容量，存儲節點（服務器）采用了分卷（或分組）的組織方式。存儲系統由一個或多個卷組成，卷與卷之間的文件是相互獨立的，所有卷的文件容量累加就是整個存儲系統中的文件容量。一個卷可以由一臺或多臺存儲服務器組成，一個卷下的存儲服務器中的文件都是相同的，卷中的多臺存儲服務器起到了冗余備份和負載均衡的作用。 在卷中增加服務器時，同步已有的文件由系統自動完成，同步完成後，系統自動將新增服務器切換到線上提供服務。當存儲空間不足或即將耗盡時，可以動態添加卷。只需要增加一臺或多臺服務器，並將它們配置為一個新的卷，這樣就擴大了存儲系統的容量。FastDFS中的文件標識分為兩個部分：卷名和文件名，二者缺一不可。

2.下載FastDFS安裝包

本手冊使用CentOS 7.0 64位操作系統，安裝文件服務器時所需下載軟件包有：

  1. libfastcommon源代碼：wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz
  2. fastdfs-nginx-module源代碼：wget http://jaist.dl.sourceforge.net/project/fastdfs/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz
  3. FastDFS源代碼：wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz
  4. nginx服務器源代碼：wget http://nginx.org/download/nginx-1.8.0.tar.gz
  5. nginx依賴的pcre庫源代碼：wget http://netassist.dl.sourceforge.net/project/pcre/pcre/8.36/pcre-8.36.zip
  6. nginx依賴的zlib庫源代碼：wget http://zlib.net/zlib-1.2.11.tar.gz

3.安裝libfastcommon

安裝libfastcommon需進行如下操作：

  1. 復制已經下載的軟件：cp V1.0.7.tar.gz /usr/local/
  2. 進入復制後的目錄： cd /usr/local
  3. 軟件解壓：tar -zxvf V1.0.7.tar.gz
  4. 軟件編譯： ./make.sh
  5. 軟件安裝： ./make.sh install

註意安裝的路徑：libfastcommon默認安裝到了/usr/lib64/這個位置。

技術分享

4.安裝FastDFS

安裝fastdfs需進行如下操作：

  1. 解壓文件：tar -zxvf V5.05.tar.gz -C /usr/local
  2. 進入軟件目錄：cd /usr/local/fastdfs-5.05/
  3. 編輯配置文件：vi make.sh 將TARGET_PREFIX=$DESTDIR/usr改成TARGET_PREFIX=$DESTDIR/usr/local
  4. 軟件編譯： ./make.sh
  5. 軟件安裝： ./make.sh install

編輯make.sh時，可用vi或者vim命令打開make.sh文件，進入文件後，輸入字母i表示把文件設置為可編輯模式，修改內容時，移動光標到指定內容處做修改。修改完成後，按ESC退出編輯模式，輸入：wq命令，保存並退出此次編輯。

軟件安裝成功後，服務腳本在/etc/init.d/fdfs_storaged，/etc/init.d/fdfs_trackerd。配置文件在 /etc/fdfs/client.conf.sample，/etc/fdfs/storage.conf.sample，/etc/fdfs/tracker.conf.sample文件中。FastDFS服務腳本設置的bin目錄為/usr/local/bin/下,可在這個目錄下通過命令（cd /usr/local/bin && ls | grep fdfs）查看它自帶的腳本。

技術分享

5.進行軟鏈接

FastDFS主程序設置的目錄為/usr/local/lib/，而我們的安裝目錄為/usr/lib64,所以我們需要創建/usr/lib64/下的一些核心執行程序的軟連接文件。

  1. 命令：ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
  2. 命令：ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
  3. 命令：ln -s /usr/local/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
  4. 命令：ln -s /usr/local/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

6.配置跟蹤器tracker

配置tracker需進行如下操作：

  1. 進入配置目錄：cd /etc/fdfs
  2. 復制配置文件：cp tracker.conf.sample tracker.conf
  3. 修改配置文件：vim /etc/fdfs/tracker.conf 修改內容為base_path=/fastdfs/tracker
  4. 新建文件：mkdir -p /fastdfs/tracker （這個新建目錄就是與base_path對應的文件目錄）
  5. 開放端口：22122端口。
  6. 設置tracker開機啟動：cd /ect/init.d/ chkconfig -add fdfs_strackerd chkconfig fdfs_trackerd on （設置為開機啟動）

對於tracker.conf配置文件參數解釋可以找官方文檔，地址為：http://bbs.chinaunix.net/thread-1941456-1-1.html。Centos 7.0中操作firewall端口的命令為：

  • 查看端口：firewall-cmd --list-ports
  • 開放端口：firewall-cmd --zone=public --add-port=22122/tcp --permanent (permanent表示永久生效)
  • 重啟firewall：firewall-cmd --reload

技術分享

tracker.conf文件配置完成後，可通過tracker的命令啟動並查看是否配置成功。配置成功後在 /fastdfs/tracker/目錄下面會有logs目錄和data目錄。

  1. 啟動tracker命令：/etc/init.d/fdfs_trackerd start
  2. 查看進程命令：ps -el | grep fdfs
  3. 停止tracker命令：/etc/init.d/fdfs_trackerd stop
  4. 目錄命令：cd /fastdfs/tracker/ && ll

技術分享

7.配置存儲器storage

配置storage需進行如下操作：

  1. 進入配置目錄：cd /etc/fdfs
  2. 復制配置文件：cp tracker.conf.sample storage.conf
  3. 修改配置文件：vim /etc/fdfs/storage.conf 修改內容為base_path=/fastdfs/storage,store_path0=/fastdfs/storage,tracker_server=192.168.3.159:22122（為服務器的外面ip地址） ,http.server_port=8888
  4. 新建文件：mkdir -p /fastdfs/storage （這個新建目錄就是與base_path對應的文件目錄）
  5. 開放端口：23000端口。
  6. 設置storage開機啟動：cd /ect/init.d/ chkconfig -add fdfs_storaged chkconfig fdfs_storaged on （設置為開機啟動）

對於storage.conf配置文件參數解釋可以找官方文檔，地址為：http://fredlong.iteye.com/blog/2287899。 storage.conf文件配置完成後，可通過storage的命令啟動並查看是否配置成功。配置成功後在 /fastdfs/storage/目錄下面會有logs目錄和data目錄。

  1. 啟動storage命令：/etc/init.d/fdfs_storaged start
  2. 查看進程命令：ps -el | grep fdfs
  3. 停止storage命令：/etc/init.d/fdfs_storaged stop
  4. 目錄命令：cd /fastdfs/storage/ && ll

技術分享

8.文件服務器測試

測試文件服務器是否可用需進行如下操作：

  1. 進入配置文件：cd /etc/fdfs/
  2. 復制客戶端配置文件：cp client.conf.sample client.conf
  3. 編輯配置文件：命令：vim /etc/fdfs/client.conf ，修改內容：base_path=/fastdfs/tracker，tracker_server=192.168.3.159:22122
  4. 調用上傳命令上傳文件：/usr/local/bin/fdfs_upload_file /etc/fdfs/client.conf /root/fastdfsdownfile/V1.0.7.tar.gz （執行上傳文件命令成功時，會返回上傳文件所在的位置。）

技術分享

9.nginx插件安裝

  1. 安裝gcc環境包：yum groupinstall "Development Tools"
  2. 安裝pcre：unzip -f pcre-8.36.zip , cd pcre-8.36,./configure,make && make install (分為四步執行)
  3. 安裝zlib：tar -zxvf zlib-1.2.11.tar.gz，cd zlib-1.2.11，./configure，make && make install

安裝nginx插件：

  1. 解壓文件：tar -zxvf fastdfs-nginx-module_v1.16.tar.gz
  2. 修改配置文件：cd fastdfs-nginx-module/src/ vi config 修改內容為CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/" 改成CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/include/fastcommon/"
  3. 復制配置文件mod_fastdfs.conf：cp mod_fastdfs.conf /etc/fdfs
  4. 修改配置文件mod_fastdfs.conf：修改配置如下：

    vi /etc/fdfs/mod_fastdfs.conf
    group_name=group1
    tracker_server=192.168.3.159:22122
    store_path0=/fastdfs/storage
    base_path=/fastdfs/storage
    url_have_group_name = true

    在文件末尾添加以下信息

    [group1]
    group_name=group1
    storage_server_port=23000

    store_path_count=1

  5. 文件復制：復制FastDFS裏的2個文件，到/etc/fdfs目錄中。cp /usr/local/fastdfs-5.05/conf/http.conf /etc/fdfs/，cp /usr/local/fastdfs-5.05/conf/mime.types /etc/fdfs/

  6. 創建一個軟連接：在/fastdfs/storage文件存儲目錄下創建軟連接，將其鏈接到實際存放數據的目錄。命令：ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

10.nginx安裝及綁定

在每個Storage服務器上安裝Nginx：

  1. 解壓文件：tar -zxvf nginx-1.8.0.tar.gz
  2. 進入目錄： cd nginx-1.8.0
  3. 設置配置：./configure --./configure --add-module=/usr/local/fast/fastdfs-nginx-module/src/ （add-module=/${fastdfs-nginx-module安裝目錄}/fastdfs-nginx-module/src）
  4. 編譯：make
  5. 安裝：make install
  6. 設置nginx配置文件：cd /usr/local/nginx/conf ， vi nginx.conf
  7. nginx.conf文件修改內容為：

    listen 8888;
    server_name localhost;
    location ~/group([0-9])/M00 {
    root /fastdfs/storage/data;
    ngx_fastdfs_module;
    }

    註意：nginx裏的端口要和配置FastDFS存儲中的storage.conf文件配置一致，
    也就是（http.server_port=8888)

技術分享

最後檢查防火墻，然後啟動nginx服務：啟動命令：/usr/local/nginx/sbin/nginx。啟動成功後網頁訪問如下：

技術分享

上傳測試文件並通過網頁訪問效果如下：

技術分享

技術分享

FastDFS與Nginx的配置說明

相關推薦

FastDFS與Nginx的配置說明

data pub 線性 標識 空間不足 服務端 hub types tcp 1.簡介 FastDFS是一個開源的輕量級分布式文件系統，它對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件為

FastDFS與Nginx的搭建及遇到的問題

nginx.pid cli git nbsp 第一步 files have 日誌文件 自己 1.1 FastDFS與Nginx的搭建 可以使用一臺虛擬機來模擬，只有一個Tracker、一個Storage服務。 配置nginx訪問圖片。 1.1.1 搭建步驟 第一步：

FastDFS與Nginx整合

最近考慮在專案中使用檔案伺服器來儲存圖片檔案，FastDFS 是一個開源的輕量級的分散式檔案系統，由 tracker server(跟蹤伺服器) 、storage server(儲存伺服器) 、client(客戶端) 三部分組成，主要解決了海量資料儲存問題，特別適合中小檔案( 4KB<fi

mime.types 與 nginx配置

一、什麼是MIME-TYPE MIME——Multipurpose Internet Mail Extension（多用途因特網郵件擴充套件）最初是為了滿足電子郵件支援多字符集及附件而出現的。 通過MIME，我們可以寫一封既含有英文，又含有中文，再加上一個檔案作

php-fpm使用sock配置與nginx配置sock連線

大部分預設的nginx連線方式為php-fpm監聽127.0.0.1:9000的方式，其實php-fpm還有一種socket連線配置，相比預設的速度更好（基於記憶體載入） location ~ .*\.(php|php5)?$ { fastcgi_pass unix:/dev/shm/php-fpm.s

Fastdfs與nginx進行壓縮圖片比率隨記

前陣子，工作搞了一下Fastdfs與nginx進行壓縮圖片比率儲存在伺服器中，今天應用下工作時間記錄下，本打算週六，老是因為一些事情給耽擱，目前正在搞一個XMPP訊息通訊協議，目前還是一頭霧水，沒有實現什麼功能，在此勉勵，加油好好搞搞，搞好了記錄下一些登入、退出、傳送、接收

tomcat與nginx配置遇到的問題

tomcat異常停止，tomcat啟動之後一接收到請求報RE: WARNING: StandardServer.await: Invalid command '' received； 原因可能是 1： tomcat的埠配置錯誤了； 2： nginx配置錯誤了 首先我檢查

FastDFS安裝與nginx反向代理配置

nginx相關軟體 FastDFS相關軟體 tracker的安裝與配置 以下操作是在 tracker 10.10.10.80上操作。  通過rz工具或者FileZilla，把軟體上傳到Ubuntu的/usr/local/src目錄下。

nginx配置proxy_pass URL末尾加與不加/(斜線)的區別

gin clas 末尾 jpg 127.0.0.1 proxy 技術 div str nginx在配置proxy_pass的時候 URL結尾加斜線(/)與不加的區別和註意事項 假設訪問路徑的 /pss/bill.html 加/斜線的情況 location /pss

nginx http 與 https 配置

nginx http https 配置域名：qps.ribuncdn.cnnginx http 配置（80端口），請求proxy 到2臺serverlog_format qps_access ‘ $remote_addr $time_iso8601 $server_port $request

Nginx 配置HTTPS 與Node.js 配置HTTPS方法

發生 win var 路徑 上傳 還需要 centos 重啟 我沒 前段時間公司網站要求加上HTTPS安全CA證書，公司服務器全是阿裏雲服務器，並且配有負載均衡，所以選擇直接在阿裏雲購買CA證書，阿裏雲有一種證書可以免費試用一年，決定申請此證書，阿裏雲證書需要驗證，阿裏雲有

mariadb集群與nginx負載均衡配置--centos7版本

red listen 1.5 ike log-bin ati 主機 方便 openssl 這裏配置得是單nginx主機。。先準備4臺主機，三臺mariadb集群，一臺nginx。 -----------------------------------------------

Nginx在windows環境下的安裝與簡單配置

erro send apache pdf lpad 首頁 調用 技術 ase 每天學習一點點 編程PDF電子書、視頻教程免費下載： http://www.shitanlife.com/code 一. 下載並安裝Nginx 去Nginx官網下載 我這裏選取nginx

nginx與PHP配置

php-fpm roo fix ive string idt sysv def www 一、安裝依賴包 yum -y install libxml2 libxml2-devel openssl openssl-devel curl curl-devel libj

keepalived安裝與nginx的主從雙機熱備配置

nginx檢測指令碼 #!/bin/bash run=`ps -C nginx --no-header | wc -l` if [ $run -eq 0 ] then /usr/local/nginx/sbin/nginx -s stop /usr/local/nginx/sbin

webAssembly相關介紹與nginx相關配置

webAssembly知識點 是一種新的位元組碼格式，主流瀏覽器都已經支援，和JS需要解釋執行不同的是 webAssembly位元組碼和底層機器碼一樣可快速的裝載執行，不是一門程式語言，而是一份位元組碼標準，需要用高階語言編譯出位元組碼放到webassembly虛擬機器中去執行。具體如下

LNMP環境搭建：Nginx安裝、測試與域名配置

Nginx作為一款優秀的Web Server軟體同時也是一款優秀的負載均衡或前端反向代理、快取服務軟體   2.編譯安裝Nginx   （1）安裝Nginx依賴函式庫pcre     pcre為“perl相容正則表示式”perl compatible regu

nginx配置移動端與PC端訪問規則

一、今天有一個臨時性的專案、前端2個專案PC端、H5端，後端一個介面。 二、不想進行2個服務進行搭建、採用nginx判斷是否是移動端或者手機端、總共2種方法 三、第一種： user root; worker_processes 2; #error_log logs/error.

Nginx配置中的 root 與 alias 指令的區別

root和alias都可以定義在location模組中，都是用來指定請求資源的真實路徑，比如： location /i/ { root /data/w3; } 請求 http://foofish.net/i/top.gif 這個地址時，那麼在伺服器裡面對應的真正的資源是 /da

nginx配置:woker_processes number與worker_cpu_affinity

nginx一般只做高併發代理，屬於cpu密集型處理。過多的程序數在多核處理器中需要排隊，沒有意義 一般woker_processes設定為邏輯核心數，檢視邏輯核心數 [[email protected]_0_17_centos worker01]# cat