11月18至21日，代表高性能計(jì)算和存儲(chǔ)行業(yè)最高水平的年度盛會(huì)SuperComputing 2019在美國(guó)丹佛舉行，與計(jì)算性能Top500榜單相對(duì)平穩(wěn)的排名和趨勢(shì)相比，IO500榜單的競(jìng)爭(zhēng)顯得異常激烈。焱融科技本次攜手科大訊飛基礎(chǔ)架構(gòu)團(tuán)隊(duì)，在焱融科技YRCloudFile的基礎(chǔ)之上，進(jìn)行了大量創(chuàng)新性開(kāi)發(fā)和調(diào)優(yōu)，最終提交的IO500十節(jié)點(diǎn)性能測(cè)試數(shù)據(jù)在激烈的比拼中位列全球第六。相對(duì)于上半年的成績(jī)，存儲(chǔ)性能有了400%的提升。這次聯(lián)合測(cè)試的成功經(jīng)驗(yàn)，標(biāo)志著焱融科技與國(guó)內(nèi)頂級(jí)人工智能企業(yè)在技術(shù)攻關(guān)過(guò)程中取得了較大突破。

從發(fā)布的結(jié)果上看，焱融科技本次測(cè)試的結(jié)果比上半年提升了4倍。這得益于焱融科技前期與科大訊飛的緊密溝通，讓我們對(duì)人工智能這種需要高性能存儲(chǔ)支持的典型場(chǎng)景有了更深入的理解。在此基礎(chǔ)上，雙方工程師做了針對(duì)性的開(kāi)發(fā)和優(yōu)化，從而獲得了滿意的成績(jī)。

在《最新全球IO500名單出爐，焱融云躋身存儲(chǔ)廠商Top10》一文中，我們對(duì)IO500做了基本的介紹，很多客戶和同行對(duì)IO500表現(xiàn)出強(qiáng)烈的興趣。在此我們?cè)偕疃绕饰鲆幌翴O500，進(jìn)而了解為何眾多高性能存儲(chǔ)和計(jì)算的行業(yè)領(lǐng)導(dǎo)者對(duì)該榜單都高度關(guān)注的原因。

總的來(lái)說(shuō)，IO500十節(jié)點(diǎn)測(cè)試共包含了12項(xiàng)測(cè)試任務(wù)，測(cè)試限制在10個(gè)客戶端上執(zhí)行，評(píng)估總體集群的性能表現(xiàn)。這12項(xiàng)測(cè)試模擬了各種或簡(jiǎn)單或苛刻的IO場(chǎng)景，涉及數(shù)據(jù)吞吐、元數(shù)據(jù)等方面操作。以下我們按執(zhí)行順序來(lái)看這些測(cè)試任務(wù)的含義，并分析這些測(cè)試背后對(duì)應(yīng)的實(shí)際應(yīng)用場(chǎng)景：

1）ior_easy_write:

多個(gè)客戶端、多個(gè)任務(wù)、并發(fā)地、順序地、獨(dú)立地向存儲(chǔ)集群中寫數(shù)據(jù)，這一項(xiàng)主要測(cè)試存儲(chǔ)集群的寫入能力。默認(rèn)每個(gè)任務(wù)寫入9.9TB，200個(gè)任務(wù)會(huì)寫入PB級(jí)的數(shù)據(jù)，這個(gè)測(cè)試模擬了傳統(tǒng)HPC寫入密集型應(yīng)用場(chǎng)景。

2）mdtest_easy_write：

多個(gè)客戶端、多個(gè)任務(wù)、并發(fā)地、獨(dú)立地向存儲(chǔ)集群中創(chuàng)建大量空文件，每個(gè)任務(wù)獨(dú)占一個(gè)目錄，這一項(xiàng)主要測(cè)試存儲(chǔ)集群元數(shù)據(jù)的處理能力。默認(rèn)每個(gè)任務(wù)寫90萬(wàn)文件，200個(gè)任務(wù)共寫入1.8億文件。這個(gè)測(cè)試模擬了新興的人工智能場(chǎng)景中寫入海量文件的場(chǎng)景，側(cè)重于元數(shù)據(jù)性能的測(cè)試。

3）ior_hard_write：

多個(gè)客戶端、并發(fā)地、共享地寫同一個(gè)文件，每個(gè)任務(wù)每次寫的數(shù)據(jù)量是47008 Bytes，這一項(xiàng)主要測(cè)試協(xié)同寫單個(gè)文件。默認(rèn)每個(gè)任務(wù)要寫190萬(wàn)次，每次寫47008 Bytes。這一測(cè)試模擬的是傳統(tǒng)HPC場(chǎng)景，多個(gè)計(jì)算任務(wù)同時(shí)更新同一個(gè)文件時(shí)，文件系統(tǒng)鎖以及并發(fā)寫入的能力。

4）mdtest_hard_write：

多個(gè)客戶端、并發(fā)地創(chuàng)建大量文件，創(chuàng)建文件后，會(huì)寫3901Bytes數(shù)據(jù)，所有任務(wù)的文件都寫到同一個(gè)目錄下。默認(rèn)每個(gè)任務(wù)寫95萬(wàn)文件，200個(gè)任務(wù)共寫入1.9億文件。這個(gè)測(cè)試也是模擬新興的人工智能場(chǎng)景中寫入海量文件的場(chǎng)景，與mdtest_easy_write側(cè)重元數(shù)據(jù)性能測(cè)試不同的是，mdtest_hard_write會(huì)同時(shí)考察文件系統(tǒng)數(shù)據(jù)寫入的能力。

5）find：

對(duì)前面創(chuàng)建的大量文件去做find查詢，考察海量文件下，基于標(biāo)準(zhǔn)POSIX語(yǔ)義的文件系統(tǒng)查詢性能。

6）ior_easy_read：

多個(gè)客戶端、多個(gè)任務(wù)、并發(fā)地、順序地讀取自己在ior_easy_write階段寫入的數(shù)據(jù)。該測(cè)試模擬傳統(tǒng)HPC場(chǎng)景中，多客戶端并發(fā)讀取數(shù)據(jù)的過(guò)程。

7）mdtest_easy_stat：

多個(gè)客戶端、多個(gè)任務(wù)、并發(fā)地去stat自己在mdtest_easy_write階段創(chuàng)建的空文件，這個(gè)測(cè)試模擬人工智能等應(yīng)用，在海量文件場(chǎng)景下對(duì)文件系統(tǒng)最常用的stat操作性能（文件系統(tǒng)的大量操作會(huì)調(diào)用到stat接口）。

8）ior_hard_read：

多個(gè)客戶端、多個(gè)任務(wù)、并發(fā)地去讀取自己在ior_hard_write階段寫入的文件，每次讀取數(shù)據(jù)量47008 Bytes。該測(cè)試模擬傳統(tǒng)HPC業(yè)務(wù)，多個(gè)計(jì)算任務(wù)并發(fā)加載數(shù)據(jù)的過(guò)程。

9）mdtest_hard_stat：

多個(gè)客戶端、多個(gè)任務(wù)、并發(fā)地去stat自己在mdtest_hard_write階段寫入的文件，stat之后再讀取3901 Bytes數(shù)據(jù)。該測(cè)試模擬人工智能業(yè)務(wù)檢索、open、隨后讀取文件的過(guò)程，并評(píng)估這一過(guò)程的性能。

10）mdtest_easy_delete：

多個(gè)客戶端、多個(gè)任務(wù)、并發(fā)地去delete自己在mdtest_easy_write階段創(chuàng)建的文件。該測(cè)試模擬元數(shù)據(jù)集群對(duì)海量空文件并發(fā)刪除的支持和性能。

11）mdtest_hard_read：

多個(gè)客戶端、多個(gè)任務(wù)、并發(fā)地去讀取自己在mdtest_hard_write階段寫入的文件，讀取3901 Bytes數(shù)據(jù)。該測(cè)試模擬人工智能業(yè)務(wù)對(duì)元數(shù)據(jù)集群open，并讀取指定小文件內(nèi)容的性能。

12）mdtest_hard_delete：

多個(gè)客戶端、多個(gè)任務(wù)、并發(fā)地去delete自己在mdtest_hard_write階段創(chuàng)建的文件。該測(cè)試模擬文件系統(tǒng)對(duì)海量小文件元數(shù)據(jù)以及數(shù)據(jù)刪除的性能。

從這些測(cè)試項(xiàng)可以看出，IO500主要測(cè)試了四大類場(chǎng)景：

1）存儲(chǔ)集群的吞吐能力，驗(yàn)證多個(gè)任務(wù)順序?qū)懀嗷ブg有無(wú)數(shù)據(jù)沖突，看集群能提供的寫入、讀取吞吐的上限。ior_easy_write、ior_easy_read主要用于測(cè)試這個(gè)場(chǎng)景。

2）存儲(chǔ)集群對(duì)于共享讀寫的處理能力，多個(gè)任務(wù)共享、協(xié)同地讀寫同一個(gè)文件，需要做一定的并發(fā)控制，否則測(cè)試將因數(shù)據(jù)錯(cuò)亂而報(bào)錯(cuò)。ior_hard_write、ior_hard_read主要用于測(cè)試這個(gè)場(chǎng)景，這部分測(cè)試針對(duì)的是HPC的典型IO類型。

3）存儲(chǔ)集群對(duì)于小文件IO的處理能力，比如mdtest_hard_read、mdtest_hard_write的讀寫3901 Bytes，如果數(shù)據(jù)布局不當(dāng)，這項(xiàng)測(cè)試的性能值會(huì)很低。

4）存儲(chǔ)集群元數(shù)據(jù)的處理能力，重點(diǎn)考察集群創(chuàng)建、查詢、刪除文件的性能。其中md_hard_*還會(huì)去測(cè)試單個(gè)目錄下大量文件（單目錄下1.9億文件）這個(gè)場(chǎng)景的性能。

YRCloudFile為了支持單目錄下海量文件的測(cè)試，改進(jìn)了原有的元數(shù)據(jù)放置策略算法，增加了虛擬目錄層，用于拆分海量文件的目錄，分散目錄熱點(diǎn)，從而提升總體性能。在測(cè)試中，YRCloudFile在海量小文件場(chǎng)景下表現(xiàn)突出。

通過(guò)2019年兩次參與IO500測(cè)試，我們?cè)诓粩鄬W(xué)習(xí)和追趕國(guó)際領(lǐng)先存儲(chǔ)企業(yè)的先進(jìn)技術(shù)，分析IO500的測(cè)試，我們可以看到：

1） IO500委員會(huì)由存儲(chǔ)業(yè)界知名學(xué)者和專家組成，為了加強(qiáng)測(cè)試數(shù)據(jù)的中立，在下半年測(cè)試中，委員會(huì)針對(duì)測(cè)試腳本進(jìn)行了修正，更加確保測(cè)試數(shù)據(jù)的公平、公正，同時(shí)模擬真實(shí)的高性能計(jì)算及人工智能場(chǎng)景，其測(cè)試數(shù)據(jù)可作為評(píng)估存儲(chǔ)系統(tǒng)總體能力的一個(gè)重要指標(biāo)。

2） 參與的廠商持續(xù)保持非常高的熱情和投入，上半年16家，下半年15家，既有傳統(tǒng)廠商如DDN、NetApp、Dell、IBM、HPE、浪潮，也有新興存儲(chǔ)廠商WekaIO、Qumulo、焱融科技，各家都非常重視IO500的測(cè)試成績(jī)，一方面這是國(guó)際上對(duì)存儲(chǔ)性能的公認(rèn)指標(biāo)，另一方面由于IO500測(cè)試腳本模擬的真實(shí)的IO場(chǎng)景，對(duì)于各個(gè)廠商持續(xù)改進(jìn)產(chǎn)品也是非常好的輸入。

從測(cè)試結(jié)果看，焱融科技和科大訊飛此次發(fā)布的測(cè)試數(shù)據(jù)，也是在對(duì)YRCloudFile做了針對(duì)性改進(jìn)后獲得了優(yōu)異的成績(jī)。

接下來(lái)，焱融科技將深入總結(jié)此次測(cè)試中獲得的寶貴經(jīng)驗(yàn)，將多項(xiàng)技術(shù)創(chuàng)新進(jìn)一步反饋到產(chǎn)品中，幫助國(guó)內(nèi)眾多人工智能、高性能計(jì)算的用戶持續(xù)提高AI訓(xùn)練和數(shù)據(jù)分析的性能，為客戶提供更優(yōu)秀的國(guó)產(chǎn)高性能存儲(chǔ)產(chǎn)品。