本文承接上篇將具體分析UCloud在典型應(yīng)用場景下對KVM虛擬化遷移技術(shù)各個階段所做的優(yōu)化。

快速遷移場景

通過普通應(yīng)用場景遷移優(yōu)化之后，UCloud平臺上的在線遷移方案已經(jīng)可以達(dá)到很高的遷移成功率，為用戶虛擬機(jī)的性能與可靠性提供了重要保障。但考慮到部分用戶存在大容量數(shù)據(jù)盤，如果進(jìn)行正常在線遷移，整體遷移時間會非常長，無法快速降低源物理機(jī)負(fù)載，不利于資源動態(tài)調(diào)整和故障處理，特別是當(dāng)用戶虛擬機(jī)正在運行高IO負(fù)載業(yè)務(wù)，則會使磁盤遷移過程遲遲無法結(jié)束，最終導(dǎo)致遷移失敗。為此，UCloud平臺針對這種場景專門進(jìn)行了磁盤高負(fù)載虛擬機(jī)的快速遷移優(yōu)化。

由于正常在線遷移在目標(biāo)端DestHost上拉起虛擬機(jī)之后，需要先通過磁盤遷移來確保目標(biāo)端DestHost上虛擬機(jī)訪問的磁盤數(shù)據(jù)和源端SourceHost相同，為此需要跳過磁盤遷移進(jìn)行快速遷移方案。

首先，需要打通目標(biāo)端DestHost和源端SourceHost之間的存儲系統(tǒng)，即共享兩個Host上虛擬機(jī)鏡像的磁盤數(shù)據(jù);在此基礎(chǔ)上進(jìn)行共享存儲的跨機(jī)遷移，從而實現(xiàn)虛擬機(jī)內(nèi)存、CPU等數(shù)據(jù)遷移，以便在目標(biāo)端DestHost快速拉起虛擬機(jī)，緩解源端SourceHost的內(nèi)存和CPU壓力。其次，將虛擬機(jī)的大磁盤數(shù)據(jù)從源端SourceHost拉取到目標(biāo)端DestHost。***，刪除源DestHost和目標(biāo)SourceHost的直接共享存儲。

快速在線遷移的具體實現(xiàn)步驟如圖 3-1所示：

(圖3-1遠(yuǎn)程拉取磁盤數(shù)據(jù)示意圖)

通過快速遷移優(yōu)化，完整遷移過程所需時間與傳統(tǒng)遷移方法所需時間相當(dāng)。但遷移過程中，共享存儲遷移的過程非常短暫，可以快速在目標(biāo)端DestHost上拉起虛擬機(jī)VM，迅速降低源端SourceHost負(fù)載，改善用戶VM之間的資源競爭，改善用戶VM性能，特別是對擁有大數(shù)據(jù)盤的VM用戶具有重要意義。

目前，UCloud平臺的快速遷移方法已經(jīng)全面上線，成功為眾多用戶完成快速跨機(jī)遷移，幫助用戶解決VM的性能與可靠性問題。

跨機(jī)型場景

前述各種遷移方法，通常用于相同類型的云主機(jī)之間進(jìn)行遷移。不過需要特別指出的是，目標(biāo)端云主機(jī)和源云主機(jī)上的虛擬機(jī)配置必須完全一致。在UCloud云平臺，除了存在普通云主機(jī)機(jī)型外，還存在類似方舟機(jī)型、SSD機(jī)型等許多不同存儲類型的虛擬機(jī)，其上所使用的虛擬機(jī)磁盤配置也并不完全相同。

當(dāng)用戶存在機(jī)型切換要求時，以往的做法是對用戶虛擬機(jī)停機(jī)進(jìn)行機(jī)型轉(zhuǎn)換遷移，會造成用戶業(yè)務(wù)中斷，不利于用戶根據(jù)不同業(yè)務(wù)需求進(jìn)行不同機(jī)型的切換。但當(dāng)用戶提出這種跨機(jī)型遷移需求時，通常伴隨著其關(guān)鍵業(yè)務(wù)負(fù)載無法滿足要求，或者關(guān)鍵業(yè)務(wù)需要在更加安全可靠的環(huán)境下運行，而如果對關(guān)鍵業(yè)務(wù)進(jìn)行停機(jī)切換又往往無法接受，也極大限制了云平臺的彈性擴(kuò)展。

為了滿足用戶對機(jī)型升級切換的業(yè)務(wù)需求，同時又不停止虛擬機(jī)以保證用戶業(yè)務(wù)在升級過程中繼續(xù)運行，UCloud為此專門開發(fā)了跨機(jī)型特殊在線遷移方案。針對跨機(jī)型的特殊遷移，關(guān)鍵點在于解決磁盤設(shè)備的類型轉(zhuǎn)換問題。在UCloud云平臺上，用戶虛擬機(jī)作為一個Qemu進(jìn)程運行，該進(jìn)程需要根據(jù)底層磁盤鏡像類型選用不同底層塊設(shè)備驅(qū)動進(jìn)行數(shù)據(jù)讀寫。因此，在進(jìn)行特殊跨存儲遷移時，需要通過Libvirt的特殊配置，先在目標(biāo)端建立一個不同存儲類型的虛擬機(jī)(其他配置完全一樣)，然后再進(jìn)行后續(xù)數(shù)據(jù)遷移。

如圖3-2所示，特殊配置之后，源端Qemu將通過qcow2驅(qū)動從qcow2磁盤文件中讀取客戶磁盤數(shù)據(jù)，再通過網(wǎng)絡(luò)發(fā)送到目標(biāo)端，目標(biāo)端Qemu在接收到數(shù)據(jù)后，再通過raw驅(qū)動將數(shù)據(jù)寫入到lvm塊設(shè)備中。經(jīng)過多次反復(fù)迭代最終完成整個磁盤的遷移，并最終將源端普通云主機(jī)上的用戶虛擬機(jī)遷移切換到目標(biāo)端SSD機(jī)型的云主機(jī)上。整個遷移過程對用戶是透明的，不會對用戶業(yè)務(wù)造成不利影響，即便目標(biāo)端虛擬機(jī)遷移失敗也不會影響源端用戶虛擬機(jī)的正常運行。

(圖3-2 跨機(jī)型遷移的存儲格式變換示意圖)

當(dāng)前，UCloud云平臺可以實現(xiàn)普通云主機(jī)到SSD云主機(jī)的相互遷移，也可以實現(xiàn)普通云主機(jī)到方舟高可靠機(jī)型的相互遷移，甚至通過這種遷移實現(xiàn)底層磁盤類型的轉(zhuǎn)換，從而方便用戶根據(jù)業(yè)務(wù)需求切換不同云主機(jī)類型，而且不需要中斷線上業(yè)務(wù)就實現(xiàn)云平臺彈性與擴(kuò)展性的提高。

這種跨機(jī)型遷移技術(shù)目前在國內(nèi)云服務(wù)提供商中是首創(chuàng)，極大提高了用戶選擇的彈性，有利于用戶按需根據(jù)業(yè)務(wù)的運營狀況適時的選擇不同的云服務(wù)。

本地升級場景

使用UCloud云平臺的在線遷移方案，可以實現(xiàn)在用戶無感知的情況下，將用戶虛擬機(jī)遷移到升級過的新虛擬化運行環(huán)境中，在避免中斷用戶業(yè)務(wù)的前提下，實現(xiàn)對虛擬化組件的性能優(yōu)化、故障修復(fù)以及新功能上線等軟件升級。

然而，在線遷移過程中，遷移用戶磁盤鏡像數(shù)據(jù)花費時間占到整體遷移時間的絕大部分，特別是大磁盤用戶，進(jìn)行一次跨機(jī)在線遷移所需時間往往是數(shù)小時。而且在線上運行大量虛擬機(jī)的情況下，如果都進(jìn)行在線遷移要花費的時間成本非常巨大，這使得在線遷移方案無法大規(guī)模用于虛擬化環(huán)境的升級。

當(dāng)前，UCloud云平臺的虛擬化組件就由KVM、Qemu和Libvirt等構(gòu)成，同時大多數(shù)軟件升級是通過升級Qemu和Libvrit完成。由于Libvirt位于虛擬化組件最上層，其升級不會影響正在運行的虛擬機(jī)，可直接生效，無需停機(jī)和遷移就能完成，而Qemu升級一般需要通過在線遷移才能保證無感知升級。

前面也提到磁盤遷移占據(jù)大部分遷移時間，如果能夠避免磁盤遷移就可以極大節(jié)省軟件升級的時間。為此，UCloud云平臺專門開發(fā)了本地?zé)徇w移方案，以完成對Qemu軟件的性能優(yōu)化、故障修復(fù)、漏洞修補(bǔ)以及新功能上線等升級功能。這種方法無需遷移虛擬機(jī)磁盤，只進(jìn)行內(nèi)存遷移，從而快速完成軟件升級。

如圖3-3所示，在進(jìn)行本地?zé)嵘墪r，需要在本地安裝新版Qemu_new，而原有虛擬機(jī)VM_old仍為舊版Qemu_old，之后將創(chuàng)建一臺相同配置的新虛擬機(jī)VM_new。此時，新建虛擬機(jī)VM_new的Qemu版本為Qemu_new，并且新虛擬機(jī)VM_new正處于paused狀態(tài)。新虛擬機(jī)VM_new和舊虛擬機(jī)VM_old之間通過socket文件進(jìn)行內(nèi)存數(shù)據(jù)遷移，這個遷移過程與普通在線遷移過程一致，也是先進(jìn)行一次全量內(nèi)存遷移，再進(jìn)行多次迭代增量內(nèi)存遷移，并短暫停機(jī)完成***一次內(nèi)存和虛擬機(jī)機(jī)器信息等遷移。

(圖3-3 虛擬機(jī)本地遷移的內(nèi)存遷移過程)

本地?zé)徇w移方案已在UCloud云平臺上大規(guī)模應(yīng)用，在實際使用過程中，不僅具備普通在線遷移的優(yōu)點，而且整個遷移過程更加快速，基本上可以秒級完成用戶虛擬機(jī)的Qemu升級，對用戶基本沒有影響。目前，UCloud已經(jīng)使用本地?zé)徇w移方案成功解決了多個高危安全漏洞對線上Qemu的影響，另外通過本地?zé)徇w移方案還實現(xiàn)對線上運行Qemu版本的精簡統(tǒng)一，方便Qemu版本的維護(hù)工作。

總結(jié)

綜上所述，目前UCloud虛擬化云平臺已經(jīng)對熱遷移技術(shù)進(jìn)行了全方位優(yōu)化，包括熱遷移技術(shù)各個階段(宿主機(jī)選擇、磁盤和內(nèi)存優(yōu)化、網(wǎng)絡(luò)切換設(shè)置等)的優(yōu)化、快速遷移優(yōu)化、跨存儲類型遷移優(yōu)化和本地?zé)嵘墐?yōu)化等。此外，UCloud虛擬化云平臺還提供單獨遷移虛擬機(jī)磁盤內(nèi)容的磁盤漂移技術(shù)以及針對加密盤的遷移技術(shù)。這些遷移技術(shù)在UCloud云平臺上廣泛用于用戶虛擬機(jī)負(fù)載均衡、宿主機(jī)故障處理，甚至各種虛擬化組件在線升級等。

通過這些全方位遷移優(yōu)化，極大保證了用戶虛擬機(jī)的不間斷穩(wěn)定運行，有力地凸顯了UCloud虛擬化云平臺高效、彈性、高可靠性的優(yōu)勢。后續(xù)UCloud還將繼續(xù)對跨機(jī)熱遷移技術(shù)的高內(nèi)存負(fù)載、GPU機(jī)型以及其他使用新型網(wǎng)卡、加速卡的特殊VM場景進(jìn)行深入開發(fā)和優(yōu)化。

【本文是51CTO專欄機(jī)構(gòu)作者“大U的技術(shù)課堂”的原創(chuàng)文章，轉(zhuǎn)載請通過微信公眾號(ucloud2012)聯(lián)系作者】

 戳這里，看該作者更多好文