05： 分布式文件系統 、 FastDFS原理 、 FastDFS配置及應用
一、分布式文件系統介紹
二、配置分布式存儲服務
2.1 配置主控節點(111) 裝包 修改配置文件 啟動服務 查看端口
]# yum -y install gcc gcc-c++ libevent
]# cd fastdfs
]# yum -y install libevent-*.rpm
]#tar -zxf FastDFS_v4.06.tar.gz
]#cd FastDFS
]#./make.sh
]#./make.sh install
]# ls /etc/fdfs/ #配置文件存放目錄
]# ls /usr/local/bin/ #命令文件存放目錄
]# vim /etc/fdfs/tracker.conf //服務主配置文件
base_path=/data/fastdfs
max_connections=4096
store_group=group1
use_storage_id = true
storage_ids_filename = storage_ids.conf
]# mkdir -p /data/fastdfs
]# cd FastDFS
]# cp conf/storage_ids.conf /etc/fdfs/
]# vim /etc/fdfs/storage_ids.conf
[root@mon111 FastDFS]# tail -2 /etc/fdfs/storage_ids.conf
100002 group1 192.168.4.109
]#cd FastDFS
]# cp init.d/fdfs_trackerd /etc/init.d/
]# chmod +x /etc/init.d/fdfs_trackerd
]# /etc/init.d/fdfs_trackerd status
fdfs_trackerd 停止
]# netstat -utnalp | grep :22122
++++++++++++++++++++++++++++++++++
2.2 配置數據節點 108 109
準備存儲空間：分區 格式化 配置開機掛載到/data/fastdfs
173 fdisk -l /dev/vdb
174 mkfs.ext4 /dev/vdb1
175 mkdir -p /data/fastdfs
176 blkid /dev/vdb1
]#vim /etc/fstab
UUID=f2853b35-13d3-48b1-8c3f-9b9e5f225fca /data/fastdfs ext4 defaults 0 0
]# mount -a
]# mount | grep /data/fastdfs
/dev/vdb1 on /data/fastdfs type ext4 (rw)
裝包 修改配置文件 啟動服務 查看端口
2 yum -y install gcc gcc-c++ libevent
6 yum -y install libevent-*.rpm
]#tar -zxf FastDFS_v4.06.tar.gz
]#cd FastDFS
]#./make.sh
]#./make.sh install
]# ls /etc/fdfs/ #配置文件存放目錄
]# ls /usr/local/bin/ #命令文件存放目錄
]# vim /etc/fdfs/storage.conf
base_path=/data/fastdfs
max_connections=4096store_path0=/data/fastdfs
subdir_count_per_path=256
tracker_server=192.168.4.111:22122
++++++++++++++++++++++++++++++++
2.3 啟動服務
2.3.1 啟動主控節點主機上的服務trackerd
209 /etc/init.d/fdfs_trackerd status
210 /etc/init.d/fdfs_trackerd start
211 netstat -utnalp | grep :22122
212 ps -C fdfs_trackerd
]#cd /data/fastdfs/
]#ls
data logs
219 cat data/storage_changelog.dat
221 vim logs/trackerd.log
2.3.2 啟動數據節點主機上的storaged服務
193 cd FastDFS
197 cp init.d/fdfs_storaged /etc/init.d/
198 chmod +x /etc/init.d/fdfs_storaged
]# /etc/init.d/fdfs_storaged start
]#netstat -utnalp | grep :23000
++++++++++++++++++++++++++++++++++++
2.3 在客戶端測試配置 250 、254
254：
]# ping -c 2 192.168.4.111
]# echo $PATH
]# mkdir /root/bin
創建連接主控服務器111的配置文件
]# scp 192.168.4.108:/etc/fdfs/client.conf /root/
]# vim /root/client.conf
10 base_path=/data/fastdfs
14 tracker_server=192.168.4.111:22122
:wq
]# mkdir -p /data/fastdfs
108:
把命令行，操作文件的命令傳給客戶端
]# scp fdfs_test 192.168.4.254:/root/bin/
]# scp fdfs_upload_file 192.168.4.254:/root/bin/
]# scp fdfs_download_file 192.168.4.254:/root/bin/
]# scp fdfs_delete_file 192.168.4.254:/root/bin/
250:
上傳文件：
顯示上傳文件過程fdfs_test
不顯示上傳文件過程 fdfs_upload_file
]# fdfs_test 配置文件 上傳 文件名
]# fdfs_test /root/client.conf upload foo.sh
]#fdfs_upload_file /root/client.conf /etc/passwd
刪除文件
]# fdfs_test /root/client.conf delete group1 M00/00/00/wKgEbVp7fh-AdtHSAAAJ6YX0WVM0035120
下載文件
++++++++++++++++++++++++++++++++
把數據節點主機110添加到存儲組group1裏
110的配置： 準備存儲空間 裝包 修改配置文件 啟動服務 查看端口
111的配置： 修改storage_ids.conf 添加新的存儲主機
重啟tracked 服務
250客戶端測試：
++++++++++++++++++++++++++++++++++
在存儲服務器上配置web服務，讓客戶端訪問存儲服務器的web服務上傳和下載文件
108
1 運行nginx網站服務： 裝包 修改配置文件 啟動服務 查看端口
]# netstat -utnalp | grep :80
]# systemct stop httpd ; systemctl disable httpd
]# yum -y install gcc gcc-c++
]# useradd nginx
]# yum -y install pcre-devel zlib-devel
]#tar -zxf fastdfs-nginx-module_v1.16.tar.gz
]#tar -zxf nginx-1.7.10.tar.gz
]#cd nginx-1.7.10
]# ./configure --prefix=/usr/local/nginx --user=nginx
--group=nginx --add-module=../fastdfs-nginx-module/src/
]# make && make install
]# ls /usr/local/nginx/
conf html logs sbin
]# cp fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
]# vim /etc/fdfs/mod_fastdfs.conf
40 tracker_server=192.168.4.111:22122
53 url_have_group_name = true
47 group_name=group1
57 store_path_count=1
62 store_path0=/data/fastdfs/:wq
]#vim /usr/local/nginx/conf/nginx.conf
43 location / {
44 #root html;
45 #index index.html index.htm;
ngx_fastdfs_module;
46 }
:wq
[root@web108 ~]# /etc/init.d/fdfs_storaged stop
stopping fdfs_storaged ...
..
[root@web108 ~]# /etc/init.d/fdfs_storaged start
Starting FastDFS storage server:
[root@web108 ~]# /usr/local/nginx/sbin/nginx -t
ngx_http_fastdfs_set pid=8668
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@web108 ~]#
[root@web108 ~]# /usr/local/nginx/sbin/nginx
ngx_http_fastdfs_set pid=8674
[root@web108 ~]#
配置109 ： 可以供客戶端以web的方式訪問。
裝包 修改配置文件 啟動服務
++++++++++++++++++++++++++++++++++++++++
客戶端訪問：
254： 上傳文件
[root@room8pc205 ~]# ls *.jpg
tedu.jpg
[root@room8pc205 ~]# fdfs_upload_file /root/client.conf ./tedu.jpg
group1/M00/00/00/wKgEbFp7nlWABtXMAACwEV-ILDc616.jpg
[root@room8pc205 ~]#
254： 通過訪問web頁面下載文件
]#firefox http://192.168.4.108/group1/M00/00/00/wKgEbFp7nlWABtXMAACwEV-ILDc616.jpg
http://192.168.4.108
80 -----> nginx----->連接tracked服務的模塊->模塊讀取配置文件---> 訪問taracked服務器--->配置文件
05： 分布式文件系統 、 FastDFS原理 、 FastDFS配置及應用