FastDFS搭建文件管理系統(詳細教程)
一 FastDFS介紹
開源中國:https://www.oschina.net/question/tag/fastdfsgitHub
開源地址:https://github.com/happyfish100
參考:http://blog.chinaunix.net/uid-20196318-id-4058561.html
1.1 簡介
FastDFS 是一個開源的高性能分布式文件系統(Distributed File System),由淘寶開發平臺部資深架構師余慶開發。作為一個分布式文件系統,它對文件進行管理,主要功能包括功能包括:文件存儲、文件同步、文件訪問(文件上傳、文件下載)等,主要解決了海量數據存儲問題,特別適合以中小文件(建議范圍:4KB < file_size <500MB)為載體的在線服務。
FastDFS 系統有三個角色:跟蹤服務器(Tracker Server)、存儲服務器(Storage Server)和客戶端(Client)。
- Tracker Server:FastDFS的協調者,起到均衡的作用;負責管理所有的 storage server和 group,每個 storage 在啟動后會連接 Tracker,告知自己所屬 group 等信息,并保持周期性心跳,tracker根據storage的心跳信息,建立group==>[storage serverlist]的映射表。
- Storage Server:存儲服務器,主要提供容量和備份服務;以組(卷,group或volume)為單位組織,一個group內包含多臺storage機器,數據互為備份,存儲空間以group內容量最小的storage為準,所以建議group內的多個storage盡量配置相同,以免造成存儲空間的浪費。
- Client:客戶端,作為業務請求的發起方,通過專有接口,使用TCP/IP協議與跟蹤器服務器或存儲節點進行數據交互,就是我們項目所部署在的服務器。
1.2 FastDFS架構圖

1.3 FastDFS的存儲策略
為了支持大容量,存儲節點(服務器)采用了分卷(或分組)的組織方式。存儲系統由一個或多個卷組成,卷與卷之間的文件是相互獨立的,所有卷的文件容量累加就是整個存儲系統中的文件容量。一個卷可以由一臺或多臺存儲服務器組成,一個卷下的存儲服務器中的文件都是相同的,卷中的多臺存儲服務器起到了冗余備份和負載均衡的作用。
在卷中增加服務器時,同步已有的文件由系統自動完成,同步完成后,系統自動將新增服務器切換到線上提供服務。當存儲空間不足或即將耗盡時,可以動態添加卷。只需要增加一臺或多臺服務器,并將它們配置為一個新的卷,這樣就擴大了存儲系統的容量。
1.4 FastDFS的上傳過程
FastDFS向使用者提供基本文件訪問接口,比如upload、download、append、delete等,以客戶端庫的方式提供給用戶使用。

Storage Server會定期的向Tracker Server發送自己的存儲信息。當Tracker Server Cluster中的Tracker Server不止一個時,各個Tracker之間的關系是對等的,所以客戶端上傳時可以選擇任意一個Tracker。
當Tracker收到客戶端上傳文件的請求時,會為該文件分配一個可以存儲文件的group,當選定了group后就要決定給客戶端分配group中的哪一個storage server。當分配好storage server后,客戶端向storage發送寫文件請求,storage將會為文件分配一個數據存儲目錄。然后為文件分配一個fileid,最后根據以上的信息生成文件名存儲文件。如下圖所示:

1.5 FastDFS的文件同步
寫文件時,客戶端將文件寫至group內一個storage server即認為寫文件成功,storage server寫完文件后,會由后臺線程將文件同步至同group內其他的storage server。
每個storage寫文件后,同時會寫一份binlog,binlog里不包含文件數據,只包含文件名等元信息,這份binlog用于后臺同步,storage會記錄向group內其他storage同步的進度,以便重啟后能接上次的進度繼續同步;進度以時間戳的方式進行記錄,所以最好能保證集群內所有server的時鐘保持同步。
storage的同步進度會作為元數據的一部分匯報到tracker上,tracke在選擇讀storage的時候會以同步進度作為參考。
比如一個group內有A、B、C三個storage server,A向C同步到進度為T1 (T1以前寫的文件都已經同步到B上了),B向C同步到時間戳為T2(T2 > T1),tracker接收到這些同步進度信息時,就會進行整理,將最小的那個做為C的同步時間戳,本例中T1即為C的同步時間戳為T1(即所有T1以前寫的數據都已經同步到C上了);同理,根據上述規則,tracker會為A、B生成一個同步時間戳。
1.6 FastDFS的文件下載
客戶端uploadfile成功后,會拿到一個storage生成的文件名,接下來客戶端根據這個文件名即可訪問到該文件。
跟upload file一樣,在downloadfile時客戶端可以選擇任意tracker server。tracker發送download請求給某個tracker,必須帶上文件名信息,tracke從文件名中解析出文件的group、大小、創建時間等信息,然后為該請求選擇一個storage用來服務讀請求
二 FastDFS 環境安裝
2.1 準備
操作環境CentOS 6.4
將所有的下載文件到放到package包下,統一管理
2.2 下載安裝 libfastcommon
1.下載libfastcommon
- # wget https://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz
2.解壓文件
- # tar -zxvf V1.0.38.tar.gz
- # cd libfastcommon-1.0.38
3.編譯安裝
- # ./make.sh
- # ./make.sh install
4.編譯通過后, libfastcommon.so安裝到了 /usr/lib64下,在32位中會安裝在 /usr/lib/中,在64位會在 /usr/lib64/
5.創建軟鏈接,因為FastDFS主程序設置的lib目錄是/usr/local/lib,所以需要我們創建軟鏈接
- # ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
- # ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
- # ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
- # ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
2.3 下載安裝FastDFS
1 下載FastDFS
- # wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz
2 解壓
- # tar -zxvf V5.11.tar.gz
- # cd fastdfs-5.11
3 編譯安裝
- # ./make.sh
- # ./make.sh install
4 默認安裝目錄
服務腳本: cd/etc/init.d目錄
- /etc/
- init.d/fdfs_storaged
- /etc/init.d/fdfs_tracker
配置文件: cd/etc/fdfs,有四個.sample后綴的文件(自動生成的fdfs模板配置文件)
- /etc/
- fdfs/client.conf.sample
- /etc/fdfs/storage.conf.sample
- /etc/fdfs/storage_ids.conf.sample
- /etc/fdfs/tracker.conf.sample
命令腳本:
- fdfs_appender_test
- fdfs_appender_test1
- fdfs_append_file
- fdfs_crc32
- fdfs_delete_file
- fdfs_download_file
- fdfs_file_info
- fdfs_monitor
- fdfs_storaged
- fdfs_test
- fdfs_test1
- fdfs_trackerd
- fdfs_upload_appender
- fdfs_upload_file
- stop.sh
- restart.sh
也可以查看可執行命令:ls-la/usr/bin/fdfs*
- -rwxr-xr-x. 1 root root 317480 10月 9 09:48 /usr/bin/fdfs_appender_test
- -rwxr-xr-x. 1 root root 317256 10月 9 09:48 /usr/bin/fdfs_appender_test1
- -rwxr-xr-x. 1 root root 304104 10月 9 09:48 /usr/bin/fdfs_append_file
- -rwxr-xr-x. 1 root root 303808 10月 9 09:48 /usr/bin/fdfs_crc32
- -rwxr-xr-x. 1 root root 304144 10月 9 09:48 /usr/bin/fdfs_delete_file
- -rwxr-xr-x. 1 root root 304904 10月 9 09:48 /usr/bin/fdfs_download_file
- -rwxr-xr-x. 1 root root 304496 10月 9 09:48 /usr/bin/fdfs_file_info
- -rwxr-xr-x. 1 root root 322400 10月 9 09:48 /usr/bin/fdfs_monitor
- -rwxr-xr-x. 1 root root 1111520 10月 9 09:48 /usr/bin/fdfs_storaged
- -rwxr-xr-x. 1 root root 327384 10月 9 09:48 /usr/bin/fdfs_test
- -rwxr-xr-x. 1 root root 326592 10月 9 09:48 /usr/bin/fdfs_test1
- -rwxr-xr-x. 1 root root 453848 10月 9 09:48 /usr/bin/fdfs_trackerd
- -rwxr-xr-x. 1 root root 305096 10月 9 09:48 /usr/bin/fdfs_upload_appender
- -rwxr-xr-x. 1 root root 306120 10月 9 09:48 /usr/bin/fdfs_upload_file
5 設置腳本軟鏈接 FastDFS 服務腳本設置的 bin 目錄是 /usr/local/bin, 但實際命令安裝在 /usr/bin/ 下
可以通過建立 /usr/bin 到 /usr/local/bin 的軟鏈接
- # ln -s /usr/bin/fdfs_trackerd /usr/local/bin
- # ln -s /usr/bin/fdfs_storaged /usr/local/bin
- # ln -s /usr/bin/stop.sh /usr/local/bin
- # ln -s /usr/bin/restart.sh /usr/local/bin
2.4 配置Tracker服務
1、進入/etc/fdfs目錄,通過cp命令復制tracker.conf.sample,重命名為:tracker.con(刪除.sample后綴),作為正式文件
- # cd /etc/fdfs/
- # cp tracker.conf.sample tracker.conf
- # vi tracker.conf
2、編輯tracker.conf:vi tracker.conf,修改相關參數(只需要修改:==basepath== 和 ==http.serverport== 即可)
- # 提供服務的端口,默認:22122
- port=
- 22122
- # Tracker 存儲data和log的根路徑,根目錄必須存在,子目錄會自動創建
- base_path=
- /home/
- lyy/fastdfs
- # http端口,需要和nginx相同
- http.server_port=
- 80
3、創建tracker基礎數據目錄,即base_path對應的目錄
- mkdir -p /home/lyy/fastdfs
4、開放 22122 端口
- # vi /etc/sysconfig/iptables
- 添加如下端口行:
- -A INPUT -m state --state NEW -m tcp -p tcp --dport
- 22122
- -j ACCEPT
- 重啟防火墻:
- # service iptables restart
5、啟動tracker(支持start|stop|restart):
- 可以用這種方式啟動
- # /etc/init.d/fdfs_trackerd start
- 也可以用這種方式啟動,前提是上面創建了軟鏈接
- # service fdfs_trackerd start
成功啟動后,會在 /home/lyy/fastdfs(配置的basepath)下創建 data、logs 兩個目錄。

6 、查看啟動日志進入剛剛指定的basepath(/home/lyy/fastdfs)中有個logs目錄,查看tracker.log文件
7、查看端口情況
- netstat -apn|grep fdfs
如果22122端口正在被監聽,則Tracker服務安裝成功,如下圖所示:
Tracker 關閉命令:service fdfs_trackerd stop
8、設置Tracker開機啟動
- # chkconfig fdfs_trackerd on
- 或者:
- # vi /etc/rc.d/rc.local
- 加入配置:
- /etc/init.d/fdfs_trackerd start
2.5 配置Storage服務
1、進入/etc/fdfs目錄,有cp命令拷貝storage.conf.sample,重命名為 storage.conf(刪除.sample)后綴作為正式文件
- # cd /etc/fdfs/
- # cp storage.conf.sample storage.conf
- # vi storage.conf
2、編輯storage.conf,修改相關參數(==basepath==、==storepath0==、==trackerserver==、==http.serverport==)
- # 配置文件是否不生效,false 為生效
- disabled=
- false
- # 指定此 storage server 所在 組(卷)
- group_name=group1
- # storage server 服務端口,storge默認23000
- port=
- 23000
- # 心跳間隔時間,單位為秒 (這里是指主動向 tracker server 發送心跳)
- heart_beat_interval=
- 30
- # 存儲路徑個數,需要和store_path個數匹配
- store_path_count=
- 1
- # storage存儲data和log的跟路徑,必須提前創建好
- base_path=
- /home/
- lyy/storage/fastdfs
- # 如果為空,則使用base_path
- store_path0=
- /home/
- lyy/storage/file
- #如果本參數只為 N(如:256),那么 storage server 在初次運行時,會在 store_path 下自動創建 N * N 個存放文件的子目錄
- subdir_count_per_path=
- 256
- # 配置該storage監聽的tracker的ip和port
- #有多個 tracker server 時,每個 tracker server 寫一行
- tracker_server=
- 192.168
- .
- 50.198
- :
- 22122
- # 允許系統同步的時間段 (默認是全天) 。一般用于避免高峰同步產生一些問題而設定。
- sync_start_time=
- 00
- :
- 00
- sync_end_time=
- 23
- :
- 59
- #訪問端口
- http.server_port=
- 80
3、創建Storage基礎數據目錄,對應base_path目錄
- # mkdir -p /home/lyy/storage/fastdfs
- # 這是配置的store_path0路徑
- # mkdir -p /home/lyy/storage/file
4、啟動 Storage
- 可以用這種方式啟動
- # /etc/init.d/fdfs_storaged start
- 也可以用這種方式,我這里用的是這種
- # service fdfs_storaged start
5、查看Storage啟動日志查看storage啟動日志:進入剛剛指定的base_path(/home/lyy/storage/fastdfs)中有個logs目錄,查看storage.log文件

6、查看端口情況:netstat-apn|grep fdfs
關閉Storage命令:service fdfs_storaged stop重新啟動Storage命令:service fdfs_storaged restart
7、通過monitor來查看storage是否成功綁定,查看storage和Tracker是否通信成功
- /usr/
- bin/fdfs_monitor /etc/fdfs/storage.conf
8、設置 Storage 開機啟動
- # chkconfig fdfs_storaged on
- 或者:
- # vi /etc/rc.d/rc.local
- 加入配置:
- /etc/init.d/fdfs_storaged start
9、Storage 目錄在 Tracker和Storage 啟動成功后,在basepath(/home/lyy/storage/file) 下創建了data、logs目錄,記錄 Storage Server 的信息。在 storepath0 目錄下,創建了N*N個子目錄:

三 安裝Nginx
1、下載Nginx安裝包:
- # wget http://nginx.org/download/nginx-1.15.2.tar.gz
2、解壓nginx:
- # tar -zxvf nginx-1.12.1.tar.gz
3、進入nginx目錄
- # cd nginx-1.15.2
4、安裝依賴庫
- # yum update
- # yum install libpcre3 libpcre3-dev openssl libssl-dev libperl-dev
5、配置nginx,加載fastdfs-nginx-module模塊
- # ./configure
6、編譯安裝nginx
- # make
- # make install
7、查看nginx安裝路徑:whereis nginx
8、啟動停止:
- # cd /usr/local/nginx/sbin/
- # ./nginx
- 其它命令
- # ./nginx -s stop
- # ./nginx -s quit
- # ./nginx -s reload
9、設置開機啟動
- # vi /etc/rc.local
- 添加一行:
- /usr/
- local
- /nginx/sbin/nginx
- # 設置執行權限
- # chmod 755 rc.local
10、查詢nginx版本
- /usr/
- local
- /nginx/sbin/nginx -V
11、防火墻中打開Nginx
80 端口
- # vim /etc/sysconfig/iptables
- 添加如下端口行:
- -A INPUT -m state --state NEW -m tcp -p tcp --dport
- 80
- -j ACCEPT
- 重啟防火墻:
- # service iptables restart
12、通過瀏覽器訪問nginx
查看nginx是否啟動成功,輸入我們的ip地址(我的是:192.168.50.198)默認是80端口,看到下圖所示說明nginx啟動成功:
四 文件上傳測試
4.1 修改 nginx.conf文件
- vi /usr/local/nginx/conf/nginx.conf
- 添加如下行,將 /group1/M00 映射到 /home/lyy/storage/file/data
- location /group1/M00 {
- alias /home/lyy/storage/file/data;
- }
- # 重啟nginx
- # /usr/local/nginx/sbin/nginx -s reload
4.2 Tracker 服務器中的客戶端配置文件
1、修改配置clinet配置
- # cd /etc/fdfs
- # cp client.conf.sample client.conf
- # vi client.conf
修改如下配置
- # Client 的數據和日志目錄
- base_path=
- /home/
- lyy/client
- # Tracker端口
- tracker_server=
- 192.168
- .
- 50.198
- :
- 22122
創建文件夾
- mkdir -p /home/lyy/client
4.3 上傳測試
在linux內部執行如下命令上傳 1.jpg圖片
- /usr/
- bin/fdfs_upload_file /etc/fdfs/client.conf
- 1.jpg
成功后返回文件ID號:group1/M00/00/00/wKgyxl2dfNWAG9cOAAOUD-69J7A524.jpg

- 組名:group1
- 磁盤:M00
- 目錄:
- 00
- /
- 00
- 文件名稱:wKgyxl2dfNWAG9cOAAOUD-
- 69J7A524.jpg
4.4 通過wget和瀏覽器方式訪問成功
瀏覽器

wget 方式

五 安裝配置fastdfs-nginx-module模塊
5.1 fastdfs-nginx-module 模塊說明
FastDFS 通過 Tracker 服務器,將文件放在 Storage 服務器存儲, 但是同組存儲服務器之間需要進行文件復制, 有同步延遲的問題。
假設 Tracker 服務器將文件上傳到了 192.168.50.196,上傳成功后文件 ID已經返回給客戶端。
此時 FastDFS 存儲集群機制會將這個文件同步到同組存儲 192.168.50.197,在文件還沒有復制完成的情況下,客戶端如果用這個文件 ID 在 192.168.50.197 上取文件,就會出現文件無法訪問的錯誤。
而 fastdfs-nginx-module 可以重定向文件鏈接到源服務器取文件,避免客戶端由于復制延遲導致的文件無法訪問錯誤。
5.2 安裝fastdfs-nginx-module安裝包
1、下載fastdfs-nginx-module安裝包
- # 下載安裝包
- wget https:
- //github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz
- # 解壓安裝包
- tar -zxvf V1.
- 20.tar
- .gz
2、配置Nginx
- # 先停掉nginx服務
- # /usr/local/nginx/sbin/nginx -s stop
- 進入nginx目錄
- # cd nginx-1.15.2
- # 添加模塊
- # ./configure --add-module=/usr/local/package/fastdfs-nginx-module-1.20/src
- 重新編譯、安裝
- # make && make install
- 可能會報錯:
- 編譯中斷。
- make[1]: *** [objs/addon/src/ngx_http_fastdfs_module.o] 錯誤 1
- make[1]: 離開目錄“/usr/local/package/nginx-1.15.2”
- make: *** [build] 錯誤 2
- 解決方法:
- 修改fastdfs-nginx-module-1.20/src/config文件,然后重新從 ./configure 開始
- ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
- CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
3、查看nginx版本
- /usr/
- local
- /nginx/sbin/nginx -V
如下圖所示,說明配置成功

5.3 配置Nginx和fastdfs-nginx-module模塊
1、配置mod-fastdfs.conf,并拷貝到/etc/fdfs文件目錄下
- # cd /usr/local/package/fastdfs-nginx-module-1.20/src/
- # cp mod_fastdfs.conf /etc/fdfs/
2、修改mod-fastdfs.conf
- # vi /etc/fdfs/mod_fastdfs.conf
修改以下配置:
- # 連接超時時間
- connect_timeout=
- 10
- # Tracker Server 的地址
- tracker_server=
- 192.168
- .
- 50.198
- :
- 22122
- ## url是否包含group名稱,設置為true
- url_have_group_name =
- true
- # Storage 配置的store_path0路徑,須和storage.conf中的一致
- store_path0=
- /home/
- lyy/storage/file
3、拷貝 FastDFS 解壓目錄中(anti-steal.jpg、http.conf、mime.types)到/etc/fdfs 目錄下
- # cd /usr/local/package/fastdfs-5.11/conf/
- # cp anti-steal.jpg http.conf mime.types /etc/fdfs/
4、配置nginx,修改nginx.conf
- vi /usr/
- local
- /nginx/conf/nginx.conf
80端口下添加fastdfs-nginx模塊,將之前的的配置注釋掉

5、啟動nginx
- /usr/
- local
- /nginx/sbin/nginx
6、 通過wget和瀏覽器方式訪問成功
瀏覽器

wget 方式

結構圖(網上找的圖,不是原創):

六 FastDFS 常用測試命令
6.1 - 上傳文件
- #命令:
- /usr/bin/fdfs_upload_file
- <config_file>
- <local_filename>
- #案例:
- /usr/bin/fdfs_upload_file /etc/fdfs/client.conf
- 1.jpg
- 成功后返回文件ID號:
- group1/M00/
- 00
- /
- 00
- /wKgyxl2dfNWAG9cOAAOUD-
- 69J7A524.jpg
6.2 - 下載文件
- 命令:
- /usr/bin/fdfs_download_file
- <config_file>
- <file_id>
- [local_filename]
- 案例:
- /usr/bin/fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/wKgyxl2dfNWAG9cOAAOUD-69J7A524.jpg
查看結果:

6.3 - 刪除文件
- 命令:
- /usr/bin/fdfs_delete_file
- <config_file>
- <file_id>
- 示例:
- /usr/bin/fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wKgyxl2dfNWAG9cOAAOUD-69J7A524.jpg
返回結果:

我是牧小農,怕什么真理無窮,進一步有進一步的歡喜,大家加油~!