（五）基於SSM+Redis+Nginx+FastDFS的部落格網站
上一篇介紹了redis的相關使用，這一篇介紹本專案使用的圖片儲存時用到的技術——FastDFS。專案使用時參考的是傳智播客裡的FastDFS的使用教程。由於只有文件沒有地址，所以就直接黏貼過來，若有版權問題請告知，謝謝。
1 課程目標
瞭解專案中使用FastDFS的原因和意義。
掌握FastDFS的架構組成部分，能說出tracker和storage的作用。
瞭解FastDFS+nginx上傳和下載的執行流程。
掌握FastDFS+nginx在專案中作為圖片伺服器，上傳和下載方法。
2 FastDFS介紹
2.1 什麼是FastDFS
FastDFS是用c語言編寫的一款開源的分散式檔案系統。FastDFS為網際網路量身定製，充分考慮了冗餘備份、負載均衡、線性擴容等機制，並注重高可用、高效能等指標，使用FastDFS很容易搭建一套高效能的檔案伺服器叢集提供檔案上傳、下載等服務。
2.2 FastDFS架構
FastDFS架構包括 Tracker server和Storage server。客戶端請求Tracker server進行檔案上傳、下載，通過Tracker server排程最終由Storage server完成檔案上傳和下載。
Tracker server作用是負載均衡和排程，通過Tracker server在檔案上傳時可以根據一些策略找到Storage server提供檔案上傳服務。可以將tracker稱為追蹤伺服器或排程伺服器。
Storage server作用是檔案儲存，客戶端上傳的檔案最終儲存在Storage伺服器上，Storage server沒有實現自己的檔案系統而是利用作業系統 的檔案系統來管理檔案。可以將storage稱為儲存伺服器。
如下圖：
2.2.1 Tracker 叢集
FastDFS叢集中的Tracker server可以有多臺，Tracker server之間是相互平等關係同時提供服務，Tracker server不存在單點故障。客戶端請求Tracker server採用輪詢方式，如果請求的tracker無法提供服務則換另一個tracker。
2.2.2 Storage叢集
Storage叢集採用了分組儲存方式。storage叢集由一個或多個組構成，叢集儲存總容量為叢集中所有組的儲存容量之和。一個組由一臺或多臺儲存伺服器組成，組內的Storage server之間是平等關係，不同組的Storage server之間不會相互通訊，同組內的Storage server之間會相互連線進行檔案同步，從而保證同組內每個storage上的檔案完全一致的。一個組的儲存容量為該組記憶體儲伺服器容量最小的那個，由此可見組記憶體儲伺服器的軟硬體配置最好是一致的。
採用分組儲存方式的好處是靈活、可控性較強。比如上傳檔案時，可以由客戶端直接指定上傳到的組也可以由tracker進行排程選擇。一個分組的儲存伺服器訪問壓力較大時，可以在該組增加儲存伺服器來擴充服務能力（縱向擴容）。當系統容量不足時，可以增加組來擴充儲存容量（橫向擴容）。
2.2.3 Storage狀態收集
Storage server會連線叢集中所有的Tracker server，定時向他們報告自己的狀態，包括磁碟剩餘空間、檔案同步狀況、檔案上傳下載次數等統計資訊。
2.2.4 檔案上傳流程
客戶端上傳檔案後儲存伺服器將檔案ID返回給客戶端，此檔案ID用於以後訪問該檔案的索引資訊。檔案索引資訊包括：組名，虛擬磁碟路徑，資料兩級目錄，檔名。
n 組名：檔案上傳後所在的storage組名稱，在檔案上傳成功後有storage伺服器返回，需要客戶端自行儲存。
n 虛擬磁碟路徑：storage配置的虛擬路徑，與磁碟選項store_path*對應。如果配置了store_path0則是M00，如果配置了store_path1則是M01，以此類推。
n 資料兩級目錄：storage伺服器在每個虛擬磁碟路徑下建立的兩級目錄，用於儲存資料檔案。
n 檔名：與檔案上傳時不同。是由儲存伺服器根據特定資訊生成，檔名包含：源儲存伺服器IP地址、檔案建立時間戳、檔案大小、隨機數和檔案拓展名等資訊。
2.2.5 檔案下載流程
tracker根據請求的檔案路徑即檔案ID來快速定義檔案。
比如請求下邊的檔案：
1.通過組名tracker能夠很快的定位到客戶端需要訪問的儲存伺服器組是group1，並選擇合適的儲存伺服器提供客戶端訪問。
2.儲存伺服器根據“檔案儲存虛擬磁碟路徑”和“資料檔案兩級目錄”可以很快定位到檔案所在目錄，並根據檔名找到客戶端需要訪問的檔案。
3 FastDFS+Nginx實現檔案伺服器
3.1 架構
3.1.1 架構圖
3.2 FastDFS--tracker安裝
在192.168.101.3上安裝tracker。
3.2.1 下載
tracker和storage使用相同的安裝包，下載地址：http://sourceforge.net/projects/FastDFS/ 或https://github.com/happyfish100/FastDFS（推薦）
本教程下載：FastDFS_v5.05.tar.gz
3.2.2 FastDFS安裝環境
FastDFS是C語言開發，建議在linux上執行，本教程使用Centos6.4作為安裝環境。
安裝FastDFS需要先將官網下載的原始碼進行編譯，編譯依賴gcc環境，如果沒有gcc環境，需要安裝gcc：yum install gcc-c++
3.2.3 安裝libevent
FastDFS依賴libevent庫，需要安裝：
yum -y install libevent
3.2.4 安裝libfastcommon
libfastcommon是FastDFS官方提供的，libfastcommon包含了FastDFS執行所需要的一些基礎庫。
將libfastcommonV1.0.7.tar.gz拷貝至/usr/local/下
cd /usr/local
tar -zxvf libfastcommonV1.0.7.tar.gz
cd libfastcommon-1.0.7
./make.sh
./make.sh install
注意：libfastcommon安裝好後會自動將庫檔案拷貝至/usr/lib64下，由於FastDFS程式引用usr/lib目錄所以需要將/usr/lib64下的庫檔案拷貝至/usr/lib下。
要拷貝的檔案如下：
3.2.5 tracker編譯安裝
將FastDFS_v5.05.tar.gz拷貝至/usr/local/下
tar -zxvf FastDFS_v5.05.tar.gz
cd FastDFS
./make.sh
./make.sh install
安裝成功將安裝目錄下的conf下的檔案拷貝到/etc/fdfs/下。
3.2.6 配置
安裝成功後進入/etc/fdfs目錄：
拷貝一份新的tracker配置檔案：
cp tracker.conf.sample tracker.conf
修改tracker.conf
vi tracker.conf
base_path=/home/yuqing/FastDFS
改為：
base_path=/home/FastDFS
3.2.7 啟動
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
啟動的日誌顯示先停止5619程序（實際環境不是5619）再啟動，如下圖：
注意：如果沒有顯示上圖要注意是否正常停止原有程序。
l 設定開機自動啟動。
| [[email protected] FastDFS]#vim /etc/rc.d/rc.local |
將執行命令列新增進檔案：/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
3.3 FastDFS--storage安裝
在192.168.101.3上安裝storage。
3.3.1 安裝libevent
同tracker安裝
3.3.2 安裝libfastcommon
同tracker安裝。
3.3.3 storage編譯安裝
同tracker編譯安裝。
3.3.4 配置
安裝成功後進入/etc/fdfs目錄：
拷貝一份新的storage配置檔案：
cp storage.conf.sample storage.conf
修改storage.conf
vi storage.conf
group_name=group1
base_path=/home/yuqing/FastDFS改為：base_path=/home/FastDFS
store_path0=/home/yuqing/FastDFS改為：store_path0=/home/FastDFS/fdfs_storage
#如果有多個掛載磁碟則定義多個store_path，如下
#store_path1=.....
#store_path2=......
tracker_server=192.168.101.3:22122 #配置tracker伺服器:IP
#如果有多個則配置多個tracker
tracker_server=192.168.101.4:22122
3.3.5 啟動
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
啟動的日誌顯示先停止8931程序（實際環境不是8931）再啟動，如下圖：
注意：如果沒有顯示上圖要注意是否正常停止原有程序。
l 設定開機自動啟動。
| [[email protected] FastDFS]#vim /etc/rc.d/rc.local |
將執行命令列新增進檔案：/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
3.4 上傳圖片測試
3.4.1 通過fdfs_test程式
FastDFS安裝成功可通過/usr/bin/fdfs_test測試上傳、下載等操作。
修改/etc/fdfs/client.conf
base_path=/home/fastdfs
tracker_server=192.168.101.3:22122
使用格式：
/usr/bin/fdfs_test 客戶端配置檔案地址 upload 上傳檔案
比如將/home下的圖片上傳到FastDFS中：
/usr/bin/fdfs_test /etc/fdfs/client.conf upload /home/tomcat.png
http://192.168.101.3/group1/M00/00/00/wKhlBVVY2M-AM_9DAAAT7-0xdqM485_big.png就是檔案的下載路徑。
對應storage伺服器上的
/home/fastdfs/fdfs_storage/data/00/00/wKhlBVVY2M-AM_9DAAAT7-0xdqM485_big.png檔案。
由於現在還沒有和nginx整合無法使用http下載。
3.4.2 通過java Client API
完整的測試方法參考測試原始碼。
public class FastdfsClientTest {
//客戶端配置檔案
public String conf_filename = "F:\\workspace_indigo\\fastdfsClient\\src\\cn\\itcast\\fastdfs\\cliennt\\fdfs_client.conf";
//本地檔案，要上傳的檔案 public String local_filename = "F:\\develop\\upload\\linshiyaopinxinxi_20140423193847.xlsx"; //上傳檔案 @Test
TrackerClient tracker = new TrackerClient();
public void testUpload() { for(int i=0;i<100;i++){ try { ClientGlobal.init(conf_filename);
StorageClient storageClient = new StorageClient(trackerServer,
TrackerServer trackerServer = tracker.getConnection(); StorageServer storageServer = null; storageServer);
new NameValuePair("height", "90")
NameValuePair nvp [] = new NameValuePair[]{ new NameValuePair("item_id", "100010"), new NameValuePair("width", "80"), };
System.out.println("路徑: " + fileIds[1]);
String fileIds[] = storageClient.upload_file(local_filename, null, nvp); System.out.println(fileIds.length); System.out.println("組名：" + fileIds[0]); } catch (FileNotFoundException e) {
}
e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } catch (Exception e) { e.printStackTrace(); } }
}
3.5 FastDFS 和nginx整合
3.5.1 在tracker上安裝nginx
nginx的安裝細節參考nginx文件。
在每個tracker上安裝nginx，的主要目的是做負載均衡及實現高可用。如果只有一臺tracker伺服器可以不配置nginx。
3.5.2 在Storage上安裝nginx
3.5.2.1 FastDFS-nginx-module
將FastDFS-nginx-module_v1.16.tar.gz傳至/usr/local/下
cd /usr/local
tar -zxvf FastDFS-nginx-module_v1.16.tar.gz
cd FastDFS-nginx-module/src
修改config檔案將/usr/local/路徑改為/usr/
將FastDFS-nginx-module/src下的mod_FastDFS.conf拷貝至/etc/fdfs/下
cp mod_FastDFS.conf /etc/fdfs/
並修改mod_FastDFS.conf的內容：
vi /etc/fdfs/mod_FastDFS.conf
base_path=/home/FastDFS
tracker_server=192.168.101.3:22122
#tracker_server=192.168.101.4:22122（多個tracker配置多行）
url_have_group_name=true #url中包含group名稱
store_path0=/home/FastDFS/fdfs_storage #指定檔案儲存路徑
將libfdfsclient.so拷貝至/usr/lib下
cp /usr/lib64/libfdfsclient.so /usr/lib/
建立nginx/client目錄
mkdir -p /var/temp/nginx/client
3.5.2.2 nginx安裝
新增FastDFS-nginx-module模組
make
make install
3.5.2.3 nginx配置檔案
新建一個nginx配置檔案nginx-fdfs.conf.
新增server:
server { listen 80; server_name 192.168.101.3; location /group1/M00/{ #root /home/FastDFS/fdfs_storage/data; ngx_fastdfs_module; } }說明：
server_name指定本機ip
location /group1/M00/：group1為nginx服務FastDFS的分組名稱，M00是FastDFS自動生成編號，對應store_path0=/home/FastDFS/fdfs_storage，如果FastDFS定義store_path1，這裡就是M01
3.5.3 測試
通過java客戶端上傳檔案，使用瀏覽器訪問，比如訪問上傳圖片測試的檔案：
訪問storage：
http://192.168.101.3/group1/M00/00/00/wKhlBVVY2M-AM_9DAAAT7-0xdqM485_big.png
4 附錄
4.1 tracker.conf
1 基本配置
disable
#func：配置是否生效
#valu：true、false
disable=false
bind_addr
#func：繫結IP
#valu：IP地址
bind_addr=192.168.6.102
port
#func：服務埠
#valu：埠整數值
port=22122
connect_timeout
#func：連線超時
#valu：秒單位正整數值
connect_timeout=30
network_timeout
#func：網路超時
#valu：秒單位正整數值
network_timeout=60
base_path
#func：Tracker資料/日誌目錄地址
#valu：路徑
base_path=/home/michael/fdfs/base4tracker
max_connections
#func：最大連線數
#valu：正整數值
max_connections=256
work_threads
#func：執行緒數，通常設定CPU數
#valu：正整數值
work_threads=4
store_lookup
#func：上傳檔案的選組方式。
#valu：0、1或2。
# 0：表示輪詢
# 1：表示指定組
# 2：表示儲存負載均衡（選擇剩餘空間最大的組）
store_lookup=2
store_group
#func：指定上傳的組，如果在應用層指定了具體的組，那麼這個引數將不會起效。另外如果store_lookup如果是0或2，則此引數無效。
#valu：group1等
store_group=group1
store_server
#func：上傳伺服器的選擇方式。(一個檔案被上傳後，這個storage server就相當於這個檔案的storage server源，會對同組的storage server推送這個檔案達到同步效果)
#valu：0、1或2
# 0: 輪詢方式（預設）
# 1: 根據ip地址進行排序選擇第一個伺服器（IP地址最小者）
# 2: 根據優先順序進行排序（上傳優先順序由storage server來設定，引數名為upload_priority），優先順序值越小優先順序越高。
store_server=0
store_path
#func：上傳路徑的選擇方式。storage server可以有多個存放檔案的base path（可以理解為多個磁碟）。
#valu：
# 0: 輪流方式，多個目錄依次存放檔案
# 2: 儲存負載均衡。選擇剩餘空間最大的目錄存放檔案（注意：剩餘磁碟空間是動態的，因此儲存到的目錄或磁碟可能也是變化的）
store_path=0
download_server
#func：下載伺服器的選擇方式。
#valu：
# 0：輪詢（預設）
# 1：IP最小者
# 2：優先順序排序（值最小的，優先順序最高。）
download_server=0
reserved_storage_space
#func：保留空間值。如果某個組中的某個伺服器的剩餘自由空間小於設定值，則檔案不會被上傳到這個組。
#valu：
# G or g for gigabyte
# M or m for megabyte
# K or k for kilobyte
reserved_storage_space=1GB
log_level
#func：日誌級別
#valu：
# emerg for emergency
# alert
# crit for critical
# error
# warn for warning
# notice
# info for information
# debug for debugging
log_level=info
run_by_group / run_by_user
#func：指定執行該程式的使用者組
#valu：使用者組名或空
run_by_group=
#func：
#valu：
run_by_user=
allow_hosts
#func：可以連線到tracker server的ip範圍。可設定多個值。
#valu
allow_hosts=
check_active_interval
#func：檢測 storage server存活的時間隔，單位為秒。
# storage server定期向tracker server發心跳，
# 如果tracker server在一個check_active_interval內還沒有收到storage server的一次心跳，
# 那邊將認為該storage server已經下線。所以本引數值必須大於storage server配置的心跳時間間隔。
# 通常配置為storage server心跳時間間隔的2倍或3倍。
check_active_interval=120
thread_stack_size
#func：設定執行緒棧的大小。 執行緒棧越大，一個執行緒佔用的系統資源就越多。
# 如果要啟動更多的執行緒（V1.x對應的引數為max_connections，V2.0為work_threads），可以適當降低本引數值。
#valu：如64KB，預設值為64，tracker server執行緒棧不應小於64KB
thread_stack_size=64KB
storage_ip_changed_auto_adjust
#func：這個引數控制當storage server IP地址改變時，叢集是否自動調整。注：只有在storage server程序重啟時才完成自動調整。
#valu：true或false
storage_ip_changed_auto_adjust=true
2 同步
storage_sync_file_max_delay
#func：同組storage伺服器之間同步的最大延遲時間。儲存伺服器之間同步檔案的最大延遲時間，根據實際情況進行調整
#valu：秒為單位，預設值為1天（24*3600）
#sinc：v2.0
storage_sync_file_max_delay=86400
storage_sync_file_max_time
#func：儲存伺服器同步一個檔案需要消耗的最大時間，預設為300s，即5分鐘。
#sinc：v2.0
storage_sync_file_max_time=300
sync_log_buff_interval
#func：同步或重新整理日誌資訊到硬碟的時間間隔。注意：tracker server的日誌不是時時寫硬碟的，而是先寫記憶體。
#valu：以秒為單位
sync_log_buff_interval=10
3 trunk 和 slot
#func：是否使用trunk檔案來儲存幾個小檔案
#valu：true或false
#sinc：v3.0
use_trunk_file=false
#func：最小slot大小
#valu：<= 4KB，預設為256位元組
#sinc：v3.0
slot_min_size=256
#func：最大slot大小
#valu：>= slot_min_size，當小於這個值的時候就儲存到trunk file中。預設為16MB。
#sinc：v3.0
slot_max_size=16MB
#func：trunk file的size
#valu：>= 4MB，預設為64MB
#sinc：v3.0
trunk_file_size=64MB
4 HTTP 相關
是否啟用 HTTP
#func：HTTP是否生效
#valu：true或false
http.disabled=false
HTTP 伺服器埠號
#func：tracker server上的http port
#valu：
#note：只有http.disabled=false時才生效
http.server_port=7271
檢查Storage存活狀態的間隔時間（心跳檢測）
#func：檢查storage http server存活的間隔時間
#valu：單位為秒
#note：只有http.disabled=false時才生效
http.check_alive_interval=30
心跳檢測使用的協議方式
#func：檢查storage http server存活的方式
#valu：
# tcp：連線到storage server的http埠，不進行request和response。
# http：storage check alive url must return http status 200.
#note：只有http.disabled=false時才生效
http.check_alive_type=tcp
檢查 Storage 狀態的URI
#func：檢查storage http server是否alive的uri/url
#note：只有http.disabled=false時才生效
http.check_alive_uri=/status.html