本實驗系統環境為：Mac OS X El Capitan 10.11.6 15G1217

使用的虛擬機系統為：Parallels Desktop 12

虛擬化技術：Nested 虛擬化技術 ＋ PMU虛擬化技術

L0: Ubuntu 16.04.1 Xenial LTS Desktop

L1: CentOS 6.4 Desktop

L2: Cirros Linux 0.3.5

首先，若要準備L2級虛擬機的系統鏡像，可參考Ubuntu官網提供的cloud-images，鏈接為：https://cloud-images.ubuntu.com/?_ga=1.222879259.1831544656.1487263184

首先可以在物理機使用scp命令將L2級虛擬機所需img鏡像文件傳輸至L0，命令及效果圖如圖所示：

​scp xenial-server-cloudimg-amd64-disk1.img fa1c0n@10.211.55.6:~/ 

若當前虛擬機不存在網橋，則需要配置網橋才可使虛擬機聯網。由于之前的實驗已完成配置，此處只寫出相關命令：

#root@master:~# brctl addbr br0        #增加一個虛擬網橋br0 
#root@master:~# brctl addif br0 enp0s5    #在br0中添加一個接口eth0 
#root@master:~# brctl stp br0 on        #打開STP協議，否則可能造成環路 
#root@master:~# ifconfig enp0s5 0        #將eth0的IP設置為0 
#root@master:~# dhclient br0          #設置動態給br0配置ip、route等 
#root@master:~# route                #顯示路由表信息 
#root@master:~# brctl show                #檢查br0狀態 

效果圖如下

同樣，由于已完成之前的實驗，qemu_ifup啟動腳本為在啟動時創建和打開指定的TAP接口以供虛擬機連接使用。啟動腳本見主要算法和程序清單。

接下來，即可開啟L1虛擬機，命令如下：

​qemu-system-x86_64 –cpu qemu64,+vmx -m 1024 -smp 4 -boot order=d -hda rhel-6.4.img -net nic -net tap 

啟動虛擬機后，如圖所示：

如圖可以看到已成功在L0上運行L1

首先開始安裝qemu，kvm，libvirt，libvirt-python，命令如下：

​yum install qemu-kvm libvirt libvirt-python virt-manager python-virtinst libvirt-client 

安裝完成后，運行如下命令確認kvm是否安裝成功：

​lsmod | grep kvm && stat /dev/kvm 

如上圖所示，即為安裝成功。安裝成功后，需要配置L1的網橋才可使L1創建的L2虛擬機可上網。命令同上：

#root@master:~# brctl addbr br0        #增加一個虛擬網橋br0 
#root@master:~# brctl addif br0 enp0s5    #在br0中添加一個接口eth0 
#root@master:~# brctl stp br0 on        #打開STP協議，否則可能造成環路 
#root@master:~# ifconfig enp0s5 0        #將eth0的IP設置為0 
#root@master:~# dhclient br0          #設置動態給br0配置ip、route等 
#root@master:~# route                #顯示路由表信息 
#root@master:~# brctl show                #檢查br0狀態 

接下來，將鏡像文件從L0拷貝至L1中，使用命令：

​scp cirros-0.3.5-x86_64-disk.img root@10.211.55.9:~/ 

傳輸完成后如圖所示：

接下來即可在L1中啟動L2虛擬機。命令如下：

​qemu-system-x86_64 -smp 4 -m 256 -boot order=d -hda cirros-0.3.5-x86_64-disk.img -net nic -net tap -enable-kvm 

啟動成功后，可以看到已成功啟動L2虛擬機。且L2虛擬機可ping通百度，可以上網。至此，KVM on KVM嵌套虛擬化的實現已完成。

在CentOS 6.4下，啟動虛擬機時，遇到libdevmapper庫錯誤問題，錯誤提示如下：

libvirtd: relocation error: libvirtd: symbol dmtaskgetinfowithdeferredremove, version Base not defined in file libdevmapper.so.1.02 with link time reference

解決方案：yum -y upgrade device-mapper-libs

若啟動虛擬機時遇到如下問題，問題描述為：

error: internal error: unable to execute QEMU command 'cont': Resetting the Virtual Machine is required

檢查系統是否有vmx：cat /proc/cpuinfo | grep vmx

若沒有vmx，則需要開啟-enable-kvm選項。

若有vmx，則重新開啟虛擬機即可。