用FastDFS一步步搭建檔案管理系統
一、FastDFS介紹
1、簡介
FastDFS 是一個開源的高效能分散式檔案系統（DFS）。 它的主要功能包括：檔案儲存，檔案同步和檔案訪問，以及高容量和負載平衡。主要解決了海量資料儲存問題，特別適合以中小檔案（建議範圍：4KB < file_size <500MB）為載體的線上服務。
FastDFS 系統有三個角色：跟蹤伺服器(Tracker Server)、儲存伺服器(Storage Server)和客戶端(Client)。
Tracker Server：跟蹤伺服器，主要做排程工作，起到均衡的作用；負責管理所有的 storage server和 group，每個 storage 在啟動後會連線 Tracker，告知自己所屬 group 等資訊，並保持週期性心跳。
Storage Server：儲存伺服器，主要提供容量和備份服務；以 group 為單位，每個 group 內可以有多臺 storage server，資料互為備份。
Client：客戶端，上傳下載資料的伺服器，也就是我們自己的專案所部署在的伺服器。
2、FastDFS的儲存策略
為了支援大容量，儲存節點（伺服器）採用了分卷（或分組）的組織方式。儲存系統由一個或多個卷組成，卷與卷之間的檔案是相互獨立的，所有卷的檔案容量累加就是整個儲存系統中的檔案容量。一個卷可以由一臺或多臺儲存伺服器組成，一個卷下的儲存伺服器中的檔案都是相同的，卷中的多臺儲存伺服器起到了冗餘備份和負載均衡的作用。
在卷中增加伺服器時，同步已有的檔案由系統自動完成，同步完成後，系統自動將新增伺服器切換到線上提供服務。當儲存空間不足或即將耗盡時，可以動態添加捲。只需要增加一臺或多臺伺服器，並將它們配置為一個新的卷，這樣就擴大了儲存系統的容量。
3、FastDFS的上傳過程
FastDFS向使用者提供基本檔案訪問介面，比如upload、download、append、delete等，以客戶端庫的方式提供給使用者使用。
Storage Server會定期的向Tracker Server傳送自己的儲存資訊。當Tracker Server Cluster中的Tracker Server不止一個時，各個Tracker之間的關係是對等的，所以客戶端上傳時可以選擇任意一個Tracker。
當Tracker收到客戶端上傳檔案的請求時，會為該檔案分配一個可以儲存檔案的group，當選定了group後就要決定給客戶端分配group中的哪一個storage server。當分配好storage server後，客戶端向storage傳送寫檔案請求，storage將會為檔案分配一個數據儲存目錄。然後為檔案分配一個fileid，最後根據以上的資訊生成檔名儲存檔案。
4、FastDFS的檔案同步
寫檔案時，客戶端將檔案寫至group內一個storage server即認為寫檔案成功，storage server寫完檔案後，會由後臺執行緒將檔案同步至同group內其他的storage server。
每個storage寫檔案後，同時會寫一份binlog，binlog裡不包含檔案資料，只包含檔名等元資訊，這份binlog用於後臺同步，storage會記錄向group內其他storage同步的進度，以便重啟後能接上次的進度繼續同步；進度以時間戳的方式進行記錄，所以最好能保證叢集內所有server的時鐘保持同步。
storage的同步進度會作為元資料的一部分彙報到tracker上，tracke在選擇讀storage的時候會以同步進度作為參考。
5、FastDFS的檔案下載
客戶端uploadfile成功後，會拿到一個storage生成的檔名，接下來客戶端根據這個檔名即可訪問到該檔案。
跟upload file一樣，在downloadfile時客戶端可以選擇任意tracker server。tracker傳送download請求給某個tracker，必須帶上檔名資訊，tracke從檔名中解析出檔案的group、大小、建立時間等資訊，然後為該請求選擇一個storage用來服務讀請求。
二、安裝FastDFS環境
0、前言
操作環境：CentOS7 X64，以下操作都是單機環境。
我把所有的安裝包下載到/softpackages/下，解壓到當前目錄。
先做一件事，修改hosts，將檔案伺服器的ip與域名對映(單機TrackerServer環境)，因為後面很多配置裡面都需要去配置伺服器地址，ip變了，就只需要修改hosts即可。
# vim /etc/hosts 增加如下一行，這是我的IP 192.168.51.128 file.ljzsg.com 如果要本機訪問虛擬機器，在C:\Windows\System32\drivers\etc\hosts中同樣增加一行
1、下載安裝 libfastcommon
libfastcommon是從 FastDFS 和 FastDHT 中提取出來的公共 C 函式庫，基礎環境，安裝即可 。
① 下載libfastcommon
# wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz
② 解壓
# tar -zxvf V1.0.7.tar.gz # cd libfastcommon-1.0.7
③ 編譯、安裝
# ./make.sh # ./make.sh install
④ libfastcommon.so 安裝到了/usr/lib64/libfastcommon.so，但是FastDFS主程式設定的lib目錄是/usr/local/lib，所以需要建立軟連結。
# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so # ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so # ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so # ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
2、下載安裝FastDFS
① 下載FastDFS
# wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz
② 解壓
# tar -zxvf V5.05.tar.gz # cd fastdfs-5.05
③ 編譯、安裝
# ./make.sh # ./make.sh install
④ 預設安裝方式安裝後的相應檔案與目錄 A、服務指令碼：
/etc/init.d/fdfs_storaged /etc/init.d/fdfs_tracker
B、配置檔案（這三個是作者給的樣例配置檔案） :
/etc/fdfs/client.conf.sample /etc/fdfs/storage.conf.sample /etc/fdfs/tracker.conf.sample
C、命令工具在 /usr/bin/ 目錄下：
fdfs_appender_test fdfs_appender_test1 fdfs_append_file fdfs_crc32 fdfs_delete_file fdfs_download_file fdfs_file_info fdfs_monitor fdfs_storaged fdfs_test fdfs_test1 fdfs_trackerd fdfs_upload_appender fdfs_upload_file stop.sh restart.sh
⑤ FastDFS 服務指令碼設定的 bin 目錄是 /usr/local/bin， 但實際命令安裝在 /usr/bin/ 下。
兩種方式：
》 一是修改FastDFS 服務指令碼中相應的命令路徑，也就是把 /etc/init.d/fdfs_storaged 和 /etc/init.d/fdfs_tracker 兩個指令碼中的 /usr/local/bin 修改成 /usr/bin。
# vim fdfs_trackerd 使用查詢替換命令進統一修改:%s+/usr/local/bin+/usr/bin # vim fdfs_storaged 使用查詢替換命令進統一修改:%s+/usr/local/bin+/usr/bin
》 二是建立 /usr/bin 到 /usr/local/bin 的軟連結，我是用這種方式。
# ln -s /usr/bin/fdfs_trackerd /usr/local/bin # ln -s /usr/bin/fdfs_storaged /usr/local/bin # ln -s /usr/bin/stop.sh /usr/local/bin # ln -s /usr/bin/restart.sh /usr/local/bin
3、配置FastDFS跟蹤器(Tracker)
① 進入 /etc/fdfs，複製 FastDFS 跟蹤器樣例配置檔案 tracker.conf.sample，並重命名為 tracker.conf。
# cd /etc/fdfs # cp tracker.conf.sample tracker.conf # vim tracker.conf
② 編輯tracker.conf ，標紅的需要修改下，其它的預設即可。
# 配置檔案是否不生效，false 為生效 disabled=false # 提供服務的埠 port=22122 # Tracker 資料和日誌目錄地址(根目錄必須存在,子目錄會自動建立) base_path=/ljzsg/fastdfs/tracker # HTTP 服務埠 http.server_port=80
③ 建立tracker基礎資料目錄，即base_path對應的目錄
# mkdir -p /ljzsg/fastdfs/tracker
④ 防火牆中開啟跟蹤埠（預設的22122）
# vim /etc/sysconfig/iptables 新增如下埠行： -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT 重啟防火牆： # service iptables restart
⑤ 啟動Tracker
初次成功啟動，會在 /ljzsg/fdfsdfs/tracker/ (配置的base_path)下建立 data、logs 兩個目錄。
可以用這種方式啟動 # /etc/init.d/fdfs_trackerd start 也可以用這種方式啟動，前提是上面建立了軟連結，後面都用這種方式 # service fdfs_trackerd start
檢視 FastDFS Tracker 是否已成功啟動 ，22122埠正在被監聽，則算是Tracker服務安裝成功。
# netstat -unltp|grep fdfs
關閉Tracker命令：
# service fdfs_trackerd stop
⑥ 設定Tracker開機啟動
# chkconfig fdfs_trackerd on 或者： # vim /etc/rc.d/rc.local 加入配置： /etc/init.d/fdfs_trackerd start
⑦ tracker server 目錄及檔案結構
Tracker服務啟動成功後，會在base_path下建立data、logs兩個目錄。目錄結構如下：
${base_path}
|__data
| |__storage_groups.dat：儲存分組資訊
| |__storage_servers.dat：儲存伺服器列表
|__logs
| |__trackerd.log： tracker server 日誌檔案
4、配置 FastDFS 儲存 (Storage)
① 進入 /etc/fdfs 目錄，複製 FastDFS 儲存器樣例配置檔案 storage.conf.sample，並重命名為 storage.conf
# cd /etc/fdfs # cp storage.conf.sample storage.conf # vim storage.conf
② 編輯storage.conf
標紅的需要修改，其它的預設即可。
# 配置檔案是否不生效，false 為生效 disabled=false # 指定此 storage server 所在 組(卷) group_name=group1 # storage server 服務埠 port=23000 # 心跳間隔時間，單位為秒 (這裡是指主動向 tracker server 傳送心跳) heart_beat_interval=30 # Storage 資料和日誌目錄地址(根目錄必須存在，子目錄會自動生成) base_path=/ljzsg/fastdfs/storage # 存放檔案時 storage server 支援多個路徑。這裡配置存放檔案的基路徑數目，通常只配一個目錄。 store_path_count=1 # 逐一配置 store_path_count 個路徑，索引號基於 0。 # 如果不配置 store_path0，那它就和 base_path 對應的路徑一樣。 store_path0=/ljzsg/fastdfs/file # FastDFS 儲存檔案時，採用了兩級目錄。這裡配置存放檔案的目錄個數。 # 如果本引數只為 N（如： 256），那麼 storage server 在初次執行時，會在 store_path 下自動建立 N * N 個存放檔案的子目錄。 subdir_count_per_path=256 # tracker_server 的列表 ，會主動連線 tracker_server # 有多個 tracker server 時，每個 tracker server 寫一行 tracker_server=file.ljzsg.com:22122 # 允許系統同步的時間段 (預設是全天) 。一般用於避免高峰同步產生一些問題而設定。 sync_start_time=00:00 sync_end_time=23:59
# 訪問埠 http.server_port=80
③ 建立Storage基礎資料目錄，對應base_path目錄
# mkdir -p /ljzsg/fastdfs/storage # 這是配置的store_path0路徑 # mkdir -p /ljzsg/fastdfs/file
④ 防火牆中開啟儲存器埠（預設的 23000）
# vim /etc/sysconfig/iptables 新增如下埠行： -A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT 重啟防火牆： # service iptables restart
⑤ 啟動 Storage
啟動Storage前確保Tracker是啟動的。初次啟動成功，會在 /ljzsg/fastdfs/storage 目錄下建立 data、 logs 兩個目錄。
可以用這種方式啟動 # /etc/init.d/fdfs_storaged start 也可以用這種方式，後面都用這種 # service fdfs_storaged start
檢視 Storage 是否成功啟動，23000 埠正在被監聽，就算 Storage 啟動成功。
# netstat -unltp|grep fdfs
關閉Storage命令：
# service fdfs_storaged stop
檢視Storage和Tracker是否在通訊：
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
⑥ 設定 Storage 開機啟動
# chkconfig fdfs_storaged on
或者： # vim /etc/rc.d/rc.local 加入配置： /etc/init.d/fdfs_storaged start
⑦ Storage 目錄
同 Tracker，Storage 啟動成功後，在base_path 下建立了data、logs目錄，記錄著 Storage Server 的資訊。
在 store_path0 目錄下，建立了N*N個子目錄：
5、檔案上傳測試
① 修改 Tracker 伺服器中的客戶端配置檔案
# cd /etc/fdfs # cp client.conf.sample client.conf # vim client.conf
修改如下配置即可，其它預設。
# Client 的資料和日誌目錄 base_path=/ljzsg/fastdfs/client # Tracker埠 tracker_server=file.ljzsg.com:22122
② 上傳測試
在linux內部執行如下命令上傳 namei.jpeg 圖片
# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf namei.jpeg
上傳成功後返回檔案ID號：group1/M00/00/00/wKgz6lnduTeAMdrcAAEoRmXZPp870.jpeg
返回的檔案ID由group、儲存目錄、兩級子目錄、fileid、檔案字尾名（由客戶端指定，主要用於區分檔案型別）拼接而成。
三、安裝Nginx
上面將檔案上傳成功了，但我們無法下載。因此安裝Nginx作為伺服器以支援Http方式訪問檔案。同時，後面安裝FastDFS的Nginx模組也需要Nginx環境。
Nginx只需要安裝到StorageServer所在的伺服器即可，用於訪問檔案。我這裡由於是單機，TrackerServer和StorageServer在一臺伺服器上。
1、安裝nginx所需環境
① gcc 安裝
# yum install gcc-c++
② PCRE pcre-devel 安裝
# yum install -y pcre pcre-devel
③ zlib 安裝
# yum install -y zlib zlib-devel
④ OpenSSL 安裝
# yum install -y openssl openssl-devel
2、安裝Nginx
① 下載nginx
# wget -c https://nginx.org/download/nginx-1.12.1.tar.gz
② 解壓
# tar -zxvf nginx-1.12.1.tar.gz # cd nginx-1.12.1
③ 使用預設配置
# ./configure
④ 編譯、安裝
# make # make install
⑤ 啟動nginx
# cd /usr/local/nginx/sbin/ # ./nginx 其它命令 # ./nginx -s stop # ./nginx -s quit # ./nginx -s reload
⑥ 設定開機啟動
# vim /etc/rc.local 新增一行： /usr/local/nginx/sbin/nginx # 設定執行許可權 # chmod 755 rc.local
⑦ 檢視nginx的版本及模組
/usr/local/nginx/sbin/nginx -V
⑧ 防火牆中開啟Nginx埠（預設的 80）
新增後就能在本機使用80埠訪問了。
# vim /etc/sysconfig/iptables 新增如下埠行： -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT 重啟防火牆： # service iptables restart
3、訪問檔案
簡單的測試訪問檔案
① 修改nginx.conf
# vim /usr/local/nginx/conf/nginx.conf
新增如下行，將 /group1/M00 對映到 /ljzsg/fastdfs/file/data
location /group1/M00 {
alias /ljzsg/fastdfs/file/data;
}
# 重啟nginx
# /usr/local/nginx/sbin/nginx -s reload
② 在瀏覽器訪問之前上傳的圖片、成功。
http://file.ljzsg.com/group1/M00/00/00/wKgz6lnduTeAMdrcAAEoRmXZPp870.jpeg
四、FastDFS 配置 Nginx 模組
1、安裝配置Nginx模組
① fastdfs-nginx-module 模組說明
FastDFS 通過 Tracker 伺服器，將檔案放在 Storage 伺服器儲存， 但是同組儲存伺服器之間需要進行檔案複製， 有同步延遲的問題。
假設 Tracker 伺服器將檔案上傳到了 192.168.51.128，上傳成功後文件 ID已經返回給客戶端。
此時 FastDFS 儲存叢集機制會將這個檔案同步到同組儲存 192.168.51.129，在檔案還沒有複製完成的情況下，客戶端如果用這個檔案 ID 在 192.168.51.129 上取檔案,就會出現檔案無法訪問的錯誤。
而 fastdfs-nginx-module 可以重定向檔案連結到源伺服器取檔案，避免客戶端由於複製延遲導致的檔案無法訪問錯誤。
② 下載 fastdfs-nginx-module、解壓
# 這裡為啥這麼長一串呢，因為最新版的master與當前nginx有些版本問題。 # wget https://github.com/happyfish100/fastdfs-nginx-module/archive/5e5f3566bbfa57418b5506aaefbe107a42c9fcb1.zip # 解壓 # unzip 5e5f3566bbfa57418b5506aaefbe107a42c9fcb1.zip # 重新命名 # mv fastdfs-nginx-module-5e5f3566bbfa57418b5506aaefbe107a42c9fcb1 fastdfs-nginx-module-master
③ 配置Nginx
在nginx中新增模組
# 先停掉nginx服務 # /usr/local/nginx/sbin/ngix -s stop 進入解壓包目錄 # cd /softpackages/nginx-1.12.1/ # 新增模組 # ./configure --add-module=../fastdfs-nginx-module-master/src 重新編譯、安裝 # make && make install
④ 檢視Nginx的模組
# /usr/local/nginx/sbin/nginx -V
有下面這個就說明新增模組成功
⑤ 複製 fastdfs-nginx-module 原始碼中的配置檔案到/etc/fdfs 目錄， 並修改
# cd /softpackages/fastdfs-nginx-module-master/src # cp mod_fastdfs.conf /etc/fdfs/
修改如下配置，其它預設
# 連線超時時間 connect_timeout=10 # Tracker Server tracker_server=file.ljzsg.com:22122 # StorageServer 預設埠 storage_server_port=23000 # 如果檔案ID的uri中包含/group**，則要設定為true url_have_group_name = true # Storage 配置的store_path0路徑，必須和storage.conf中的一致 store_path0=/ljzsg/fastdfs/file
⑥ 複製 FastDFS 的部分配置檔案到/etc/fdfs 目錄
# cd /softpackages/fastdfs-5.05/conf/ # cp anti-steal.jpg http.conf mime.types /etc/fdfs/
⑦ 配置nginx，修改nginx.conf
# vim /usr/local/nginx/conf/nginx.conf
修改配置，其它的預設
在80埠下新增fastdfs-nginx模組
location ~/group([0-9])/M00 {
ngx_fastdfs_module;
}
注意：
listen 80 埠值是要與 /etc/fdfs/storage.conf 中的 http.server_port=80 (前面改成80了)相對應。如果改成其它埠，則需要統一，同時在防火牆中開啟該埠。
location 的配置，如果有多個group則配置location ~/group([0-9])/M00 ，沒有則不用配group。
⑧ 在/ljzsg/fastdfs/file 檔案儲存目錄下建立軟連線，將其連結到實際存放資料的目錄，這一步可以省略。
# ln -s /ljzsg/fastdfs/file/data/ /ljzsg/fastdfs/file/data/M00
⑨ 啟動nginx
# /usr/local/nginx/sbin/nginx
列印處如下就算配置成功
⑩ 在位址列訪問。
能下載檔案就算安裝成功。注意和第三點中直接使用nginx路由訪問不同的是，這裡配置 fastdfs-nginx-module 模組，可以重定向檔案連結到源伺服器取檔案。
http://file.ljzsg.com/group1/M00/00/00/wKgz6lnduTeAMdrcAAEoRmXZPp870.jpeg
最終部署結構圖(盜的圖)：可以按照下面的結構搭建環境。
五、Java客戶端
前面檔案系統平臺搭建好了，現在就要寫客戶端程式碼在系統中實現上傳下載，這裡只是簡單的測試程式碼。
1、首先需要搭建 FastDFS 客戶端Java開發環境
① 專案中使用maven進行依賴管理，可以在pom.xml中引入如下依賴即可：
<dependency> <groupId>net.oschina.zcx7878</groupId> <artifactId>fastdfs-client-java</artifactId> <version>1.27.0.0</version> </dependency>
其它的方式，參考官方文件：https://github.com/happyfish100/fastdfs-client-java
② 引入配置檔案
可直接複製包下的 fastdfs-client.properties.sample 或者 fdfs_client.conf.sample，到你的專案中，去掉.sample。
我這裡直接複製 fastdfs-client.properties.sample 中的配置到專案配置檔案 config.properties 中，修改tracker_servers。只需要載入這個配置檔案即可
2、客戶端API
六、許可權控制
前面使用nginx支援http方式訪問檔案，但所有人都能直接訪問這個檔案伺服器了，所以做一下許可權控制。
FastDFS的許可權控制是在服務端開啟token驗證，客戶端根據檔名、當前unix時間戳、祕鑰獲取token，在地址中帶上token引數即可通過http方式訪問檔案。
① 服務端開啟token驗證
修改http.conf # vim /etc/fdfs/http.conf 設定為true表示開啟token驗證 http.anti_steal.check_token=true 設定token失效的時間單位為秒(s) http.anti_steal.token_ttl=1800 金鑰，跟客戶端配置檔案的fastdfs.http_secret_key保持一致 http.anti_steal.secret_key=FASTDFS1234567890 如果token檢查失敗，返回的頁面 http.anti_steal.token_check_fail=/ljzsg/fastdfs/page/403.html
記得重啟服務。
② 配置客戶端
客戶端只需要設定如下兩個引數即可，兩邊的金鑰保持一致。
# token 防盜鏈功能 fastdfs.http_anti_steal_token=true # 金鑰 fastdfs.http_secret_key=FASTDFS1234567890
③ 客戶端生成token
訪問檔案需要帶上生成的token以及unix時間戳，所以返回的token是token和時間戳的拼接。
之後，將token拼接在地址後即可訪問：file.ljzsg.com/group1/M00/00/00/wKgzgFnkaXqAIfXyAAEoRmXZPp878.jpeg?token=078d370098b03e9020b82c829c205e1f&ts=1508141521
1 /**
2 * 獲取訪問伺服器的token，拼接到地址後面
3 *
4 * @param filepath 檔案路徑 group1/M00/00/00/wKgzgFnkTPyAIAUGAAEoRmXZPp876.jpeg
5 * @param httpSecretKey 金鑰
6 * @return 返回token，如： token=078d370098b03e9020b82c829c205e1f&ts=1508141521
7 */
8 public static String getToken(String filepath, String httpSecretKey){
9 // unix seconds
10 int ts = (int) Instant.now().getEpochSecond();
11 // token
12 String token = "null";
13 try {
14 token = ProtoCommon.getToken(getFilename(filepath), ts, httpSecretKey);
15 } catch (UnsupportedEncodingException e) {
16 e.printStackTrace();
17 } catch (NoSuchAlgorithmException e) {
18 e.printStackTrace();
19 } catch (MyException e) {
20 e.printStackTrace();
21 }
22
23 StringBuilder sb = new StringBuilder();
24 sb.append("token=").append(token);
25 sb.append("&ts=").append(ts);
26
27 return sb.toString();
28 }
④ 注意事項
如果生成的token驗證無法通過，請進行如下兩項檢查： A. 確認呼叫token生成函式(ProtoCommon.getToken)，傳遞的檔案ID中沒有包含group name。傳遞的檔案ID格式形如：M00/00/00/wKgzgFnkTPyAIAUGAAEoRmXZPp876.jpeg
B. 確認伺服器時間基本是一致的，注意伺服器時間不能相差太多，不要相差到分鐘級別。
⑤ 對比下發現，如果系統檔案隱私性較高，可以直接通過fastdfs-client提供的API去訪問即可，不用再配置Nginx走http訪問。配置Nginx的主要目的是為了快速訪問伺服器的檔案(如圖片)，如果還要加許可權驗證，則需要客戶端生成token，其實已經沒有多大意義。
關鍵是，這裡我沒找到FastDFS如何對部分資源加token驗證，部分開放。有知道的還請留言。