成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

6個優秀的開源文件系統助力大數據分析

開源
“大數據”作為時下最火熱的IT行業的詞匯,個人、企業和政府機構之間的互動創造了數據的海洋,我們51CTO傳媒在4月26日-27日也將舉行2013大數據全球技術峰會,分享大數據技術趨勢和最佳實踐,是一場重新認識數據價值的技術盛宴。大數據需要大量的儲存空間,本文分享了6個優秀的開源文件系統,助力大數據深入分析。

大數據在今天吸引了大量關注,個人、企業和政府機構之間的互動創造了數據的海洋,通過有效識別、訪問、篩選和分析其中部分數據能帶來新的見解和益處。大數據需要大量的儲存空間,先進的存儲基礎設施必不可少,需要能在多臺服務器上伸縮自如的存儲解決方案。有許多優秀的開源文件系統能用于深入分析大數據,其中包括:

QFS

Quantcast File System (QFS) 是一個高性能、容錯、分布式的文件系統,其開發是用于支持 MapReduce 處理或者需要順序讀寫大文件的應用。

HDFS

Hadoop Distributed File System,簡稱HDFS,是一個分布式文件系統。HDFS有著高容錯性(fault-tolerent)的特點,并且設計用來部署在低廉的(low- cost)硬件上。而且它提供高吞吐量(high throughput)來訪問應用程序的數據,適合那些有著超大數據集(large data set)的應用程序。HDFS放寬了(relax)POSIX的要求(requirements)這樣可以實現流的形式訪問(streaming access)文件系統中的數據。HDFS開始是為開源的apache項目nutch的基礎結構而創建,HDFS是hadoop項目的一部分,而 hadoop又是lucene的一部分。

HDFS

Ceph

Ceph是加州大學Santa Cruz分校的Sage Weil(DreamHost的聯合創始人)專為博士論文設計的新一代自由軟件分布式文件系統。自2007年畢業之后,Sage開始全職投入到Ceph開 發之中,使其能適用于生產環境。Ceph的主要目標是設計成基于POSIX的沒有單點故障的分布式文件系統,使數據能容錯和無縫的復制。2010年3 月,Linus Torvalds將Ceph client合并到內 核2.6.34中。IBM開發者園地的一篇文章探討了Ceph的架構,它的容錯實現和簡化海量數據管理的功能。

Lustre

Lustre是一個大規模的、安全可靠的,具備高可用性的集群文件系統,它是由SUN公司開發和維護的。

該項目主要的目的就是開發下一代的集群文件系統,可以支持超過10000個節點,數以PB的數據量存儲系統。

GlusterFS

GlusterFS 是一個集群的文件系統,支持 PB 級的數據量。GlusterFS 通過 RDMA 和 TCP/IP 方式將分布到不同服務器上的存儲空間匯集成一個大的網絡并行文件系統。

PVFS

PVFS 是一個高性能、開源的并行文件系統,主要用于并行計算環境中的應用。特別為超大數量的客戶端和服務器端設計。模塊化結構設計,可輕松的添加新的硬件和算法支持。

PVFS 側重高性能訪問大數據集,包含一個服務器進程和客戶端開發庫,完全基于用戶級代碼編寫。

特征:

  • 基于對象的設計思路
  • Optimized for regular strided access
  • 獨立數據和元數據的存儲
  • 優化的 MPI-IO 支持
  • 多種網絡支持
  • 無狀態的服務器
  • 用戶級的實現方案
  • 系統級接口
  • 可在很多 Linux 版本上構建
  • 支持多數平臺,包括 IA32, IA64, Opteron, PowerPC, Alpha, and MIPS

原文鏈接:http://www.linuxlinks.com/article/20130411155608341/FileSystems.html

責任編輯:黃丹 來源: oschina.net
相關推薦

2019-08-22 09:08:53

大數據HadoopStorm

2018-06-05 12:06:20

Hadoop開源工具

2020-04-08 16:41:18

大數據Hadoop工具

2015-08-24 13:51:40

數據挖掘

2018-06-26 10:20:17

數據分析制造行業大數據

2014-07-23 10:03:20

2023-10-13 13:11:26

大數據技術開源

2018-11-08 15:12:16

數據分析算法決策樹

2013-01-06 11:01:59

大數據分析

2013-05-17 09:51:35

大數據分析系統大數據

2017-07-20 16:40:36

大數據分析工具

2020-07-07 12:06:58

大數據數據分析工具

2015-10-20 10:23:45

MIT大數據分析系統

2015-08-14 10:28:09

大數據

2023-10-11 11:34:54

數據分析運營

2017-08-16 10:21:36

大數據數據分析核心技術

2021-08-06 11:01:23

大數據數據分析技術

2021-01-20 15:02:22

數據分析大數據可視化

2020-07-01 11:27:36

大數據數據分析保險

2020-05-26 10:56:49

數據分析大數據數據
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 久久久久国产 | 亚洲精品乱码久久久久久蜜桃 | 亚洲免费一区二区 | 国产午夜精品一区二区三区四区 | 操视频网站 | 天天干狠狠干 | 精品国产伦一区二区三区观看方式 | 久夜精品| 99re在线播放 | 九色 在线 | 国产一区二区三区久久久久久久久 | 成人av网站在线观看 | 国产视频日韩 | 成人一区二区三区在线 | 中文在线一区 | 中文字幕 国产精品 | 精品一区二区三区入口 | 三级av在线 | 亚洲精品一区二三区不卡 | av片免费观看 | 麻豆国产一区二区三区四区 | 国产91在线 | 中日 | 国产高清免费 | 中文字幕免费在线 | 成人久久一区 | 国产精品一区在线 | 夜夜骚 | 国产精品一区二区三区久久久 | 刘亦菲国产毛片bd | 国产精品高清在线 | 日韩国产欧美视频 | 久久国产婷婷国产香蕉 | 亚洲天堂男人的天堂 | 日日夜夜精品视频 | 国产精品一区二区免费 | 日韩av免费看 | 国产精品一区二区三区在线播放 | 四虎在线观看 | 免费在线观看av的网站 | 亚洲一区二区视频 | 精品亚洲91 |