FastDFS分布式文件系統
FastDFS簡介
FastDFS是一個輕量級的開源分布式文件系統
FastDFS主要解決了大容量的文件存儲和高並發訪問的問題，文件存取時實現了負載均衡
FastDFS實現了軟件方式的RAID，可以使用廉價的IDE硬盤進行存儲
支持存儲服務器在線擴容
支持相同內容的文件只保存一份，節約磁盤空間
FastDFS只能通過ClientAPI訪問，不支持POSIX訪問方式
FastDFS特別適合大中型網站使用，用來存儲資源文件（如：圖片、文檔、音頻、視頻等等）
系統架構－架構圖
系統架構－上傳文件流程圖
1. client詢問tracker上傳到的storage，不需要附加參數；
2. tracker返回一臺可用的storage；
3. client直接和storage通訊完成文件上傳。
系統架構－下載文件流程圖
1. client詢問tracker下載文件的storage，參數為文件標識（組名和文件名）；
2. tracker返回一臺可用的storage；
3. client直接和storage通訊完成文件下載。
相關術語
Tracker Server：跟蹤服務器，主要做調度工作，在訪問上起負載均衡的作用。記錄storage server的狀態，是連接Client和Storageserver的樞紐。
Storage Server：存儲服務器，文件和meta data都保存到存儲服務器上
group：組，也可稱為卷。同組內服務器上的文件是完全相同的
文件標識：包括兩部分：組名和文件名（包含路徑）
meta data：文件相關屬性，鍵值對（Key Value Pair）方式，如：width=1024,heigth=768
同步機制
同一組內的storageserver之間是對等的，文件上傳、刪除等操作可以在任意一臺storage server上進行；
文件同步只在同組內的storage server之間進行，采用push方式，即源服務器同步給目標服務器；
源頭數據才需要同步，備份數據不需要再次同步，否則就構成環路了；
上述第二條規則有個例外，就是新增加一臺storage server時，由已有的一臺storageserver將已有的所有數據（包括源頭數據和備份數據）同步給該新增服務器。
通信協議
協議包由兩部分組成：header和body
header共10字節，格式如下：
– 8 bytes body length
– 1 byte command
– 1 byte status
body數據包格式由取決於具體的命令，body可以為空
運行時目錄結構－tracker server
${base_path}
|__data
| |__storage_groups.dat：存儲分組信息
| |__storage_servers.dat：存儲服務器列表
|__logs
|__trackerd.log：trackerserver日誌文件
運行時目錄結構－storage server
${base_path}
|__data
| |__.data_init_flag：當前storageserver初始化信息
| |__storage_stat.dat：當前storage server統計信息
| |__sync：存放數據同步相關文件
| | |__binlog.index：當前的binlog文件索引號
| | |__binlog.###：存放更新操作記錄（日誌）
| | |__${ip_addr}_${port}.mark：存放同步的完成情況
| |
| |__一級目錄：256個存放數據文件的目錄，如：00, 1F
| |__二級目錄：256個存放數據文件的目錄
|__logs
|__storaged.log：storageserver日誌文件
安裝和運行
#step 1. download FastDFS source package and unpack it,
# if you use HTTP to download file, please downloadlibevent 1.4.x and install it
tar xzf FastDFS_v1.x.tar.gz
#for example:
tar xzf FastDFS_v1.20.tar.gz
#step 2. enter the FastDFS dir
cd FastDFS
#step 3. if HTTP supported, modify make.sh, uncommentthe line:
# WITH_HTTPD=1, then execute:
./make.sh
#step 4. make install
./make.sh install
#step 5. edit/modify the config file of tracker andstorage
#step 6. run server programs
#start the tracker server:
/usr/local/bin/fdfs_trackerd
#start the storage server:
/usr/local/bin/fdfs_storaged
FastDFS和集中存儲方式對比
FastDFS中文：http://www.csource.org/
FastDFS英文：http://code.google.com/p/fastdfs/
官網資料，分享給大家學習
願意了解框架技術或者源碼的朋友直接加求求（企鵝）：2042849237
更多詳細源碼參考來源：http://minglisoft.cn/technology
FastDFS分布式文件系統