科學(xué)家近日研發(fā)了新系統(tǒng)，在保證準確性的前提下讓計算機程序運行的更快。來自麻省理工大學(xué)的一支科研團隊創(chuàng)造了一項新技術(shù)[PDF]，通過并行化程序來提高在 Unix shell 中的程序運行速度。這是一個 50 年前創(chuàng)建、至今仍被廣泛使用的編程環(huán)境。

他們的方法將這些程序并行化，這意味著它將程序組件分成可以在多個計算機處理器上同時運行的部分。這使程序能夠在其原始運行時間的一小部分內(nèi)執(zhí)行 Web 索引、自然語言處理或分析數(shù)據(jù)等任務(wù)。

麻省理工學(xué)院計算機科學(xué)和人工智能實驗室 (CSAIL) 的研究科學(xué)家 Nikos Vasilakis 說：“有很多人使用這些類型的程序，比如數(shù)據(jù)科學(xué)家、生物學(xué)家、工程師和經(jīng)濟學(xué)家。現(xiàn)在他們可以自動加速他們的程序，而不必擔(dān)心會得到錯誤的結(jié)果”。

該系統(tǒng)還使開發(fā)數(shù)據(jù)科學(xué)家、生物學(xué)家、工程師和其他人使用的工具的程序員變得容易。 Vasilakis 補充說，他們不需要對他們的程序命令進行任何特殊調(diào)整來實現(xiàn)這種自動、無錯誤的并行化，他是來自世界各地的研究人員委員會的主席，他們已經(jīng)在這個系統(tǒng)上工作了近兩年。

Vasilakis 是該小組最新研究論文的高級作者，其中包括麻省理工學(xué)院的合著者和 CSAIL 研究生 Tammam Mustafa，并將在 USENIX 操作系統(tǒng)設(shè)計和實現(xiàn)研討會上發(fā)表。

合著者包括主要作者、賓夕法尼亞大學(xué)研究生 Konstantinos Kallas；華沙 Staszic 高中的學(xué)生 Jan Bielak； Aarno Labs 的軟件工程師 Dimitris Karnikis；前麻省理工學(xué)院博士后，現(xiàn)為Google軟件工程師的 Thurston H.Y. Dang；史蒂文斯理工學(xué)院計算機科學(xué)助理教授 Michael Greenberg。

這個名為 PaSh 的新系統(tǒng)專注于在 Unix shell 中運行的程序或腳本。腳本是指示計算機執(zhí)行計算的命令序列。 shell 腳本的正確和自動并行化是研究人員幾十年來一直在努力解決的一個棘手問題。

Unix shell 仍然很受歡迎，部分原因是它是唯一一種允許一個腳本由多種編程語言編寫的函數(shù)組成的編程環(huán)境。不同的編程語言更適合特定的任務(wù)或數(shù)據(jù)類型；如果開發(fā)人員使用正確的語言，解決問題會容易得多。

Vasilakis 補充道：“人們還喜歡使用不同的編程語言進行開發(fā)，因此將所有這些組件組合到一個程序中是經(jīng)常發(fā)生的事情”。雖然 Unix shell 支持多語言腳本，但其靈活和動態(tài)的結(jié)構(gòu)使得這些腳本難以使用傳統(tǒng)方法進行并行化。

當一個程序用一種語言編寫時，開發(fā)人員有關(guān)于它的特性和語言的明確信息，可以幫助他們確定哪些組件可以并行化。但是這些工具不存在用于 Unix shell 中的腳本。用戶無法輕松查看組件內(nèi)部發(fā)生的情況或提取有助于并行化的信息。

為了克服這個問題，PaSh 使用了一個預(yù)處理步驟，將簡單的注釋插入到它認為可以并行化的程序組件上。然后 PaSh 嘗試在程序運行時并行化腳本的這些部分，在它到達每個組件的確切時刻。這避免了 shell 編程中的另一個問題——無法提前預(yù)測程序的行為。

通過“及時”并行化程序組件，系統(tǒng)避免了這個問題。與嘗試提前執(zhí)行并行化的傳統(tǒng)方法相比，它能夠有效地加速更多的組件。

即時并行化還確保加速程序仍然返回準確的結(jié)果。如果 PaSh 到達無法并行化的程序組件（可能它依賴于尚未運行的組件），它會簡單地運行原始版本并避免導(dǎo)致錯誤。