FastDFS是一個開源的輕量級分布式文件系統，她對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件為載體的在線服務，如相冊網站、視頻網站等等。

FastDFS服務端有兩個角色：跟蹤器（tracker）和存儲節點（storage）。跟蹤器主要做調度工作，在訪問上起負載均衡的作用。

存儲節點存儲文件，完成文件管理的所有功能：存儲、同步和提供存取接口，FastDFS同時對文件的metadata進行管理。所謂文件的meta data就是文件的相關屬性，以鍵值對（key valuepair）方式表示，如：width=1024，其中的key為width，value為1024。文件metadata是文件屬性列表，可以包含多個鍵值對。

FastDFS系統結構如下圖所示：

跟蹤器和存儲節點都可以由一臺多臺服務器構成。跟蹤器和存儲節點中的服務器均可以隨時增加或下線而不會影響線上服務。其中跟蹤器中的所有服務器都是對等的，可以根據服務器的壓力情況隨時增加或減少。

為了支持大容量，存儲節點（服務器）采用了分卷（或分組）的組織方式。存儲系統由一個或多個卷組成，卷與卷之間的文件是相互獨立的，所有卷的文件容量累加就是整個存儲系統中的文件容量。一個卷可以由一臺或多臺存儲服務器組成，一個卷下的存儲服務器中的文件都是相同的，卷中的多臺存儲服務器起到了冗余備份和負載均衡的作用。

在卷中增加服務器時，同步已有的文件由系統自動完成，同步完成后，系統自動將新增服務器切換到線上提供服務。

當存儲空間不足或即將耗盡時，可以動態添加卷。只需要增加一臺或多臺服務器，并將它們配置為一個新的卷，這樣就擴大了存儲系統的容量。

FastDFS中的文件標識分為兩個部分：卷名和文件名，二者缺一不可。

FastDFS file upload

上傳文件交互過程：

1. client詢問tracker上傳到的storage，不需要附加參數；

2. tracker返回一臺可用的storage；

3. client直接和storage通訊完成文件上傳。

FastDFS file download

下載文件交互過程：

1. client詢問tracker下載文件的storage，參數為文件標識（卷名和文件名）；

2. tracker返回一臺可用的storage；

3. client直接和storage通訊完成文件下載。

需要說明的是，client為使用FastDFS服務的調用方，client也應該是一臺服務器，它對tracker和storage的調用均為服務器間的調用。

google code地址：http://code.google.com/p/fastdfs/

google code下載地址：http://code.google.com/p/fastdfs/downloads/list#p#

MogileFS一個開源的分布式文件系統

1.應用層——沒有特殊的組件要求

2.無單點失敗——MogileFS啟動的三個組件（存儲節點、跟蹤器、跟蹤用的數據庫），均可運行在多個 機器上，因此沒有單點失敗。（你也可以將跟蹤器和存儲節點運行在同一臺機器上，這樣你就沒有必要用4臺機器）推薦至少兩臺機器。

3.自動的文件復制——文件是基于他們的“類”，文件可以自動的在多個存儲節點上復制，這是為了盡量少的復制，才使用“類”的。加入你有的圖片站點有 三份JPEG圖片的拷貝，但實際只有1or2份拷貝，那么Mogile可以重新建立遺失的拷貝數。用這種辦法，MogileFS(不做RAID)可以節約 在磁盤，否則你將存儲同樣的拷貝多份，完全沒有必要。

4.“比RAID好多了”——在一個非存儲區域網絡的RAID（non-SAN RAID）的建立中，磁盤是冗余的，但主機不是，如果你整個機器壞了，那么文件也將不能訪問。 MogileFS在不同的機器之間進行文件復制，因此文件始終是可用的。

5.傳輸中立，無特殊協議——MogileFS客戶端可以通過NFS或HTTP來和MogileFS的存儲節點來通信，但首先需要告知跟蹤器一下。

6.簡單的命名空間——文件通過一個給定的key來確定，是一個全局的命名空間。你可以自己生成多個命名空間，只要你愿意，但是這樣可能在同一MogileFS中，會造成沖突key。

7.不用共享任何東西——MogileFS不需要依靠昂貴的SAN來共享磁盤，每個機器只用維護好自己的磁盤。

8.不需要RAID——在MogileFS中的磁盤可以是做了RAID的也可以是沒有，如果是為了安全性著想的話RAID沒有必要買了，因為MogileFS已經提供了。

9.不會碰到文件系統本身的不可知情況——在MogileFS中的存儲節點的磁盤可以被格式化成多種格（ext3,reiserFS等等）。MogilesFS會做自己內部目錄的哈希，所以它不會碰到文件系統本身的一些限制，比如一個目錄中的最大文件數。你可以放心的使用。#p#

FastFDS和MogileFS的對比

FastDFS設計時借鑒了MogileFS的一些思路。FastDFS是一個完善的分布式文件存儲系統，通過客戶端API對文件進行讀寫。可以說，MogileFS的所有功能特性FastDFS都具備，MogileFS網址：http://www.danga.com/mogilefs/。

另外，相對于MogileFS，FastDFS具有如下特點和優勢：

1. FastDFS完善程度較高，不需要二次開發即可直接使用；

2. 和MogileFS相比，FastDFS裁減了跟蹤用的數據庫，只有兩個角色：tracker和storage。FastDFS的架構既簡化了系統，同時也消除了性能瓶頸；

3. 在系統中增加任何角色的服務器都很容易：增加tracker服務器時，只需要修改storage和client的配置文件（增加一行tracker配置）；增加storage服務器時，通常不需要修改任何配置文件，系統會自動將該卷中已有文件復制到該服務器；

4. FastDFS比MogileFS更高效。表現在如下幾個方面：

1）參見上面的第2點，FastDFS和MogileFS相比，沒有文件索引數據庫，FastDFS整體性能更高；

2）從采用的開發語言上看，FastDFS比MogileFS更底層、更高效。FastDFS用C語言編寫，代碼量不到2萬行，沒有依賴其他開源軟件或程序包，安裝和部署特別簡潔；而MogileFS用perl編寫；

3）FastDFS直接使用socket通信方式，相對于MogileFS的HTTP方式，效率更高。并且FastDFS使用sendfile傳輸文件，采用了內存零拷貝，系統開銷更小，文件傳輸效率更高。

5. FastDFS有著詳細的設計和使用文檔，而MogileFS的文檔相對比較缺乏。

6. FastDFS的日志記錄非常詳細，系統運行時發生的任何錯誤信息都會記錄到日志文件中，當出現問題時方便管理員定位錯誤所在。

7. FastDFS還對文件附加屬性（即meta data，如文件大小、圖片寬度、高度等）進行存取，應用不需要使用數據庫來存儲這些信息。

8. FastDFS從V1.14開始支持相同文件內容只保存一份，這樣可以節省存儲空間，提高文件訪問性能。