驚艷的vSAN硬件配置錯(cuò)誤，你見過幾個(gè)？
每年年底和同事聊天時(shí)候都會(huì)討論這一年遇到的奇葩故障，這次也不例外。想想這幾年處理過或者看過的vSAN故障怎么也得好幾千個(gè)了，其中真的有一些比較奇葩的vSAN硬件配置錯(cuò)誤。雖然現(xiàn)在回想起來都比較有意思，但是處理故障時(shí)候真的是吃驚到下巴都掉了下來。(畫外音：也不得不說vSAN還是很皮實(shí)的，有些用戶就在這種非官方支持的配置下跑了幾年的生產(chǎn)業(yè)務(wù)而平安無事)。
驅(qū)動(dòng)固件不在兼容列表
驚艷指數(shù)：🌟
平時(shí)最常見到的就是驅(qū)動(dòng)固件不在兼容列表了，所以驚艷指數(shù)只有一顆星。雖然這個(gè)常見問題從vSAN發(fā)布以來一直到現(xiàn)在依舊在發(fā)生，但是在2018年可以很明顯的感覺到由于用戶維護(hù)水平的提高以及vSAN健康檢查工具的完善，這類的問題發(fā)生的頻率已經(jīng)明顯降低。還清楚的記得頭幾年處理過一個(gè)故障，客戶的使用的驅(qū)動(dòng)/固件，不僅在VMware和硬件廠商的官網(wǎng)上找不到，連google都搜不到。后來客戶說這是硬件廠商給客戶提供的是硬件廠商內(nèi)部的debug版本的驅(qū)動(dòng)/固件...debug版本...debug...
這里再次需要說明下vSAN的硬件兼容測(cè)試的流程：為了修復(fù)已知問題，硬件廠商會(huì)發(fā)布新版本的驅(qū)動(dòng)/固件，然后按照vSAN的統(tǒng)一的兼容性測(cè)試的流程進(jìn)行測(cè)試，并且把結(jié)果反饋給VMware，VMware對(duì)結(jié)果進(jìn)行確認(rèn)后會(huì)更新到HCL網(wǎng)站。
下面是用戶經(jīng)常問我的問題，我把答案就列出來吧...
- 為什么驅(qū)動(dòng)和固件老有問題?
除了一小部分inbox驅(qū)動(dòng)，VMware不發(fā)布任何硬件驅(qū)動(dòng)，更不發(fā)布硬件固件...其實(shí)你問我的這個(gè)問題我也一直想問...
- 為什么HCL一直在更新?
硬件廠商會(huì)在新的版本驅(qū)動(dòng)和固件修復(fù)已知問題，發(fā)布出來后如果經(jīng)過vSAN兼容性測(cè)試就可以更新到在HCL網(wǎng)站上。VMware無法控制硬件廠商發(fā)布驅(qū)動(dòng)/固件的頻率，只能確保每一個(gè)版本驅(qū)動(dòng)/固件都通過兼容性測(cè)試。
- 為什么經(jīng)過驗(yàn)證的驅(qū)動(dòng)/固件還有問題?是不是VMware兼容性測(cè)試質(zhì)量不過關(guān)?
這個(gè)問題大概有幾個(gè)方面可以回答：首先是兼容性測(cè)試的方法無法完全模擬出每個(gè)用戶的實(shí)際生產(chǎn)模式。兼容性測(cè)試的方案是統(tǒng)一的，但是每個(gè)真實(shí)用戶的業(yè)務(wù)類型，使用特點(diǎn)都不一樣。因此非常有可能在實(shí)際使用過程中觸發(fā)新的驅(qū)動(dòng)/固件相關(guān)的問題。其次就是做兼容性測(cè)試時(shí)候采樣的范圍，硬件廠商無法提供大量的測(cè)試樣本，比如讓硬件廠商提供100臺(tái)主機(jī)進(jìn)行兼容性測(cè)試明顯是不現(xiàn)實(shí)的，人力和財(cái)力都無法滿足。最后就是硬件的質(zhì)量的控制，像一些比較大的國(guó)際廠商，基本上每批次的硬件質(zhì)量都很穩(wěn)定，所以運(yùn)行起來也會(huì)比較穩(wěn)定;但是有一些國(guó)內(nèi)的硬件廠商，批次和批次之間的硬件質(zhì)量水平都不一致，再加上有些做兼容性驗(yàn)證測(cè)試的硬件廠商工程師責(zé)任心問題，所以經(jīng)常會(huì)出現(xiàn)比較惡心的事情。這真的不是說笑，而是客觀存在的事實(shí)...
基于上面的描述，那么最穩(wěn)妥的方法是什么呢?
最最最簡(jiǎn)單的方法就是根據(jù)vSAN健康檢查的提示進(jìn)行升級(jí)/降級(jí)。VMware要求使用的驅(qū)動(dòng)和固件必須在HCL列表里，并且兩者的搭配關(guān)系也必須符合在HCL的要求，并且非常強(qiáng)烈強(qiáng)烈強(qiáng)烈使用HCL里列出的最新的版本。
硬件不在兼容列表
驚艷指數(shù)：🌟🌟
這個(gè)很好理解，但是我還是見過一些比較有意思的案例：
- 使用家用臺(tái)式機(jī)級(jí)別的SSD/HDD提供給vSAN使用：不可否認(rèn)，這種情況下vSAN可以使用的，但是這些硬件的性能以及使用壽命都無法滿足生產(chǎn)環(huán)境下的需要，尤其是作為緩存層的SSD，時(shí)刻進(jìn)行大量的讀寫操作，這些負(fù)載不是非企業(yè)級(jí)的磁盤可以長(zhǎng)時(shí)間承受的。
- 把容量層SSD作為緩存層SSD使用：這也是一個(gè)比較666的操作，有一些用戶把僅能用于全閃環(huán)境下容量層磁盤的SSD當(dāng)作混合模式的緩存層磁盤使用。實(shí)際上這兩種不同用途的SSD的性能和使用壽命是完全不同的，因此如果把容量層的SSD用作緩存層的SSD后會(huì)經(jīng)常遇到遇到一些性能相關(guān)的問題。
- 忘記帶Cache模塊的Raid卡：比如聯(lián)想的M5210這塊卡。我清楚記得在愛爾蘭的時(shí)候被這塊卡搞的死去活來：主機(jī)經(jīng)常發(fā)生磁盤擁堵的問題，把能檢查的地方都檢查了一遍卻找不到原因。后來發(fā)現(xiàn)客戶使用的這塊卡忘記安裝了Cache模塊。不安裝Cache模塊的話卡的隊(duì)列深度只有260，然后安裝了Cache模塊后隊(duì)列深度達(dá)到將近900。而且VMware只驗(yàn)證過了安裝了Cache模塊的M5210...后來客戶解釋說，他們?cè)谫?gòu)買主機(jī)的時(shí)候忽略掉這個(gè)細(xì)節(jié)了...
- HBA330和H330，傻傻分不清楚：Dell針對(duì)vSAN推出一塊叫做HBA330的Raid卡，穩(wěn)定性非常好。但是比較有意思的是Dell有另外一個(gè)卡叫做H330(H330沒有經(jīng)過vSAN的兼容性測(cè)試)。有些用戶為了省事習(xí)慣把HBA330叫做H330...后面的故事的你應(yīng)該可以想象的到：客戶想配置一個(gè)HBA330，于是說：“給我一個(gè)H330(HBA330)”。結(jié)果就是一個(gè)真的H330到了...
過小的緩存層磁盤
驚艷指數(shù)：🌟🌟🌟
關(guān)于緩存層磁盤與容量層磁盤的容量比，VMware的目前官方的介紹是按照使用容量的來計(jì)算的10%。但是根據(jù)經(jīng)驗(yàn)，如果按照物理容量來計(jì)算的10%以上會(huì)更穩(wěn)定，尤其是在業(yè)務(wù)高峰期時(shí)可以有效避免擁堵現(xiàn)象的發(fā)生。目前為止，我遇到過的最小的比例是不到1%，也就是說每個(gè)磁盤組20T的容量層磁盤配置了一個(gè)200G的緩存層的SSD。因此在業(yè)務(wù)繁忙期間根本無法承載過高的負(fù)載....
充滿想象的底層Raid配置
驚艷指數(shù)：🌟🌟🌟🌟
根據(jù)vSAN的設(shè)計(jì)，vSAN會(huì)根據(jù)存儲(chǔ)策略的不同設(shè)置來保護(hù)不同的對(duì)象。例如FTT=1可以容忍一個(gè)節(jié)點(diǎn)故障，F(xiàn)TT=2可以容忍兩個(gè)節(jié)點(diǎn)故障。這些都是在vSAN軟件層面上定義并且執(zhí)行的。有一些用戶也許是還停留在傳統(tǒng)的硬件配置的影響下，于是乎出現(xiàn)來這類謎一般的配置：
- 兩個(gè)SSD先做底層硬件Raid1，然后再作為緩存層磁盤使用...
- 多個(gè)HDD先做底層硬件Raid5，然后再作為容量層使用...
是嫌硬盤太便宜?還是覺得硬盤槽位太多?
這么土(lang)豪(fei)的使用方式既不是VMware支持的配置方式，也得不到任何額外的益處，還會(huì)增加排錯(cuò)的難度。
那么vSAN要求的配置方式是什么樣子呢?大體流程如下：
- 確保使用硬件硬件/驅(qū)動(dòng)/固件符合vSAN的HCL要求。
- 按照HCL要求使用Raid卡正確的模式：直通 或者 Raid
- 禁用掉Raid卡的寫緩存(或者調(diào)整為100%讀)
- 所有的磁盤按照HCL的要求進(jìn)行配置：
- 直通模式的話就直接提供給ESXi使用
- Raid模式的話就每單個(gè)磁盤做為一個(gè)Raid0再提供給ESXi使用
沒有SSD?我們有HDD啊!!
驚艷指數(shù)：🌟🌟🌟🌟🌟
前方預(yù)警：
vSAN配置大魔王來了!!!
vSAN配置大魔王來了!!!
vSAN配置大魔王來了!!!
上個(gè)月我的同事在檢查一個(gè)日志的時(shí)候發(fā)現(xiàn)來這幾年以來最厲害的配置...vSAN主機(jī)上根本沒有配置緩存層SSD!沒有SSD!沒有SSD!
是的，你沒有看錯(cuò)...客戶使用的所有vSAN磁盤都是機(jī)械硬盤，然后把其中一塊機(jī)械硬盤標(biāo)示為SSD作為緩存層磁盤使用...而且這套系統(tǒng)客戶已經(jīng)用了很長(zhǎng)時(shí)間，至于vSAN健康檢查的報(bào)警嘛...直接忽略掉就好。這一波騷操作讓我著實(shí)驚訝來好久才緩過神...真是藝高人膽大啊...
以上就是目前我總結(jié)的比較驚艷的vSAN硬件配置，我相信肯定還有一些案例疏漏了，以后隨著想到隨著更新進(jìn)來。
我一直相信任何一個(gè)優(yōu)秀的解決方案應(yīng)該包括：高質(zhì)量的產(chǎn)品+正確的使用方法+堅(jiān)實(shí)技術(shù)支持保障，只有這3點(diǎn)全部滿足，使用者才可以放心大膽的使用，也有時(shí)間去享受自己的生活。
