桌面操作系統評測指標體系研究
圖1 桌面操作系統評測質量模型
功能性測試
功能性測試主要檢測兩個方面內容:軟件承諾的功能是否正確實現和用戶所需的功能是否正確提供。由于操作系統發展的歷史較長,對于用戶需要的理解也越來越深刻,功能越來越強大。對于一般用戶來說,往往只能用到一些基本的常用功能。而對于測試人員來說,需要盡可能發現和使用其全部功能。因此,需要像開發人員一樣了解桌面操作系統的各項功能用法及目的,工作量巨大而且需要對桌面操作系統有極其深入的了解是功能測試的難點。
功能的分類也是評價指標體系制定的難點之一。例如顯示配置功能,在控制面板中有顯示配置功能,從桌面上點擊右鍵,選擇屬性也可以調成此功能。以各個桌面操作系統開發商均能認可的分類方式將各功能總結出來,不僅需要對桌面操作系統的各項功能有充分的了解,還需要與各開發商充分地溝通。目前,將功能性測試分為三部分,分別是適合性、互操作性和功能性的依從性。
適合性是指為系統管理員、普通用戶、開發人員等等不同類型的用戶提供的一組合適的操作功能的能力。它包括中文輸入、中文服務、安裝、啟動/關閉、控制面板、資源管理器、網絡協議、常用工具及應用程序、系統面板的評測。
桌面操作系統的互操作性包括三個方面:一是操作系統對常見的文件系統的讀寫能力和不同文件系統間的文件復制、移動的支持能力,二是操作系統對各種應用程序支持的能力,三是各種類型的操作系統之間通過網絡互相訪問的能力。
功能性的依從性是使操作系統產品的功能遵循與中文符號、操作系統標準等有關標準或約定的軟件屬性,其目的在于發現操作系統可能存在的各種差錯,進而修改軟件錯誤,提高軟件質量,包括國標GB18030、LSB標準。
安全性測試
桌面操作系統作為一個應用環境的基礎平臺,它的安全是整個信息系統安全的核心和基礎。而且“核心電子器件、高端通用芯片及基礎軟件產品”科技重大專項2009年課題申報指南要求桌面操作系統的安全等級要達到GBT 20272-2006《信息安全技術 操作系統安全技術要求》第四級,可見安全桌面操作系統的重要性。桌面操作系統的安全性測試通過通用安全性測試和安全性的依從性來考察,其中通用安全性測試項是GBT 20272-2006中沒有列出的一些重要指標。
通用的安全性測試主要從身份鑒別、權限管理、訪問控制、安全審計、數據保密性、安全協議、網絡防護七方面來測試[9]。安全性的依從性主要是測試桌面操作系統對GBT 20272-2006的依從性。
可靠性測試
桌面操作系統的可靠性是指桌面操作系統不僅在功能上滿足用戶需求,而且要在發生異常后能夠以最小的代價恢復到正常狀態,主要從成熟性、容錯性和易恢復性來測試。測試桌面操作系統的可靠性需要長時間的運行系統,通過長時間功能測試或者運行基準測試程序的同時對可靠性指標進行測試。測試難點在于制造錯誤,如使用中使操作系統發生異常、非法操作、突然斷電等情況。
易用性測試
易用性測試指標從易理解性和易操作性兩方面來考察,通過用戶長期使用微軟Windows系統后建立起來的對用戶界面、文檔、鼠標操作、快捷鍵等的使用習慣,被測的桌面操作系統應該能夠符合用戶已經建立起來的習慣。測試難點在于定義用戶的習慣,除了長時間的使用外,還需要通過與開發商、用戶的交流得到一些信息。
易用性測試的另一方法是組織最終的用戶試用,通過用戶的反饋意見進行統計分析得出桌面操作系統是否易用,此時引導用戶使用并有效收集、分析用戶反饋,是測試結果有效性的重要保障。
效率測試
操作系統的效率不僅取決于操作系統本身的內核設計和程序算法,而且取決于操作系統的運行環境和參數配置,在不同的操作系統產品的效率評測對比中,通常會使用相同的測試環境和測試工具,而且會監控系統所占用資源的情況以及相應的性能指標。桌面操作系統的效率測試主要從響應時間、吞吐量、資源利用性、性能基準等方面來測試。測試的難點在于:對不同的操作系統,通過同樣的方法和工具來測試,由于內部處理機制的不同,對測試包括的內容尚無統一認識。
維護性測試
作為基礎軟件產品的操作系統,必須提供對不同設備、不同網絡環境、不同軟件進行交互、組件配置和參數變更的能力,以修正、改進操作系統對環境、需求和功能規格變化的適應能力。
操作系統的維護性測試主要從系統的易分析性、易改變性、穩定性來測試。易分析性是指在診斷操作系統運行環境配置、系統本身的缺陷或失效原因或識別待修改部分的能力,易改變性主要是檢查操作系統參數是否易修改以及修改后是否影響操作系統的穩定運行,穩定性主要是測試操作系統各個版本升級后在功能上的完備性和可靠性以及版本之間差異的可查性。
可移植性測試
可移植性是指操作系統可以在不同硬件平臺上移植,通過對硬件的適應性和操作系統的易安裝性兩方面特性來度量。硬件的適應性主要考察操作系統對主流的硬件產品的支持來測試硬件的適應性,包括整機、顯示器、顯卡、主辦、聲卡等方面。易安裝性不僅僅指操作系統初次安裝的難易程度,同樣還包括操作系統的再次安裝、補丁的安裝等方面的難易程度。
結束語
開展桌面操作系統評測指標體系的研究,目的是對桌面操作系統的質量進行評估,為國產桌面操作系統產品的開發和選購提供理論和技術指導,最終為國產桌面操作系統的實用化、產業化奠定基礎。為了進一步推動國產操作系統的發展,必須大力提倡獨立的第三方測試認證,從客觀、科學的角度去度量國產操作系統的真實質量。