之后他黑進了軍方網(wǎng)絡(luò)里，險些引發(fā)了一場全球性的熱核戰(zhàn)爭。Rougier的需求就沒這么刺激了。他只想從自己的Mac臺式機往一臺老古董電腦上傳一個文本文件——1977年的出品的Apple II。這是蘋果公司的第一部消費產(chǎn)品。

Rougier是法國國家信息與自動化研究所（INRIA）的計算神經(jīng)科學(xué)家兼程序員。傳這個文件是他自己提出的計算挑戰(zhàn)的最后一步：十年代碼復(fù)現(xiàn)大挑戰(zhàn)（Ten Years Reproducibility Challenge， https：//rescience.github.io/ten-years/）。2019年，他和法國國家科學(xué)研究中心（CNRS）的理論生物物理學(xué)家Konrad Hinsen共同發(fā)起了這個挑戰(zhàn)，要求找一份老代碼并重新執(zhí)行，從而對至少已發(fā)表了十年的以計算為主的論文進行復(fù)現(xiàn)。原本的計劃是參與者在波爾多6月舉辦的研討會上討論心得，但是因為COVID-19被迫延期（目前暫定延期到2021年6月）。

雙胞胎計劃的插圖

雖然計算在科學(xué)中起到了越來越關(guān)鍵的作用，但科學(xué)文章很少會包含計算用的代碼，Rougier說。即使有包含，也很難由其他人執(zhí)行，甚至連原作者過一段時間后，都可能在執(zhí)行時遇到問題。編程語言在發(fā)展，運行代碼的計算機環(huán)境也是一樣。今天可以順利運行的代碼明天可能就會出問題。

2015年，Rougier和Hinsen創(chuàng)辦了《ReScience C》。這份期刊刊載的是研究人員如何基于原始論文和自行編寫的開源代碼來復(fù)現(xiàn)其他人的計算方法。評審人再研究代碼以確認它是否能用。但即使在這種理想化的場景——作者有意愿讓代碼復(fù)現(xiàn)、評審人純熟于計算領(lǐng)域、代碼也是新寫的——整個流程依然有很多難點。

十年代碼大挑戰(zhàn)的目標是“找出十年前哪些寫作和發(fā)布代碼的技術(shù)好到如今依然可用”，Hinsen說。挑戰(zhàn)的時間設(shè)在了2020年1月1日這個Python 2“退場”的時間點。這個在科學(xué)領(lǐng)域非常流行的語言在出現(xiàn)20年之后決定終止支持。（2008年出現(xiàn)的Python 3仍然在繼續(xù)開發(fā)，但是這兩者之間的區(qū)別比較大，用其中一種寫成的代碼在另一個環(huán)境下可能無法運行。）

“在軟件的世界里，十年是很長很長很長的時間。”Victoria Stodden說。她在伊利諾伊大學(xué)厄巴納-香檳分校研究計算的可復(fù)現(xiàn)性。作出這一論斷后，她說這個挑戰(zhàn)本質(zhì)上是鼓勵研究者探索代碼復(fù)現(xiàn)的極限，能不能在一個“對軟件世界來說幾乎無窮長的時間”里復(fù)現(xiàn)。

一共有35個挑戰(zhàn)者。在他們提出要復(fù)現(xiàn)的43篇文章里，其中28篇提交了復(fù)現(xiàn)報告。《ReScience C》從今年初開始刊載他們的工作。使用的程序語言從C和R到Mathematica和Pascal；一位挑戰(zhàn)者復(fù)現(xiàn)的不是代碼，而是用系統(tǒng)生物學(xué)標記語言（SBML）編碼的分子模型。

雖然是在數(shù)碼世界，但挑戰(zhàn)者的經(jīng)歷和現(xiàn)實世界的考古一樣可以借古喻今，提出未來復(fù)現(xiàn)代碼的最佳策略。其中一個共同點是，科學(xué)家想要復(fù)現(xiàn)代碼就必須優(yōu)化文檔。“2002年，我覺得我所有東西都能記一輩子，”威斯康星大學(xué)麥迪遜分校的生物統(tǒng)計學(xué)家Karl Broman說，“之后我才意識到，過不了一個月就會忘了。”

重現(xiàn)科研

Rougier的參賽作品重現(xiàn)的是整個挑戰(zhàn)里最老的代碼[1]，他在16歲時為Apple II寫的圖像放大器，文章發(fā)表于一份已經(jīng)停刊的法國業(yè)余愛好者雜志《Tremplin Micro》（挑戰(zhàn)里最老的科學(xué)代碼是一份28年前的繪制水質(zhì)數(shù)據(jù)的Pascal程序，之后會在《ReScience C》上發(fā)表）。32年之后，Rougier已經(jīng)記不清代碼是怎么運作的了，它用的還是長得像咒語一樣的AppleSoft BASIC代碼——“挺奇怪的，畢竟是我本人寫的”。但他成功地在網(wǎng)上找到了這份代碼，并用網(wǎng)頁版本的Apple II模擬器成功運行。這一步比較簡單，他說，在實際的Apple II上運行才是真正的困難。

硬件并不是問題——Rougier在辦公室有一臺Apple II，是他同事清理辦公室的時候撿回來的。“年輕人會問‘這是個啥？’”他說，“然后你就得解釋‘這是臺電腦’。老人看到就會說‘哦，我對這機器有印象’。”但是因為Apple II比USB和互聯(lián)網(wǎng)還要早——而現(xiàn)代的電腦也沒法直接和老式硬盤連接——Rougier就需要一些自制的硬件，外加上一盒老式軟盤，才能讓電腦讀取代碼。他在亞馬遜上找到了這些東西，1993年造的“全新”品。寫入三次保證所有比特都穩(wěn)定之后，他確認了這些軟盤可用。

INRIA研究中心的計算機科學(xué)家Bruno Levy評審了Rougier寫的內(nèi)容。Levy也有一臺Apple II，還在推特上發(fā)布了一小段視頻。在老式鍵盤的一聲“咔噠”之后，他調(diào)用了代碼并成功執(zhí)行，緩緩顯示出一行純綠色的“我們重現(xiàn)科研！”。

過時的硬件，已死的語言

當法國國家科學(xué)研究中心的生物物理化學(xué)家Charles Robert聽說這一挑戰(zhàn)的時候，他決定用這個機會回顧一個他很多年都沒再思考的研究課題。“這個挑戰(zhàn)給了我臨門一腳，讓我再向那個方向努力一把。”他說。

1995年，Robert用運行了商業(yè)軟件Mathematica的計算筆記本為真核染色體的三維結(jié)構(gòu)做了建模。Robert在MacBook上有Mathematica，但是為了好玩，他花了100歐元（約合800人民幣）買了一臺Raspberry Pi，這是個愛好者玩的單片機，上面安裝了Linux系統(tǒng)，并預(yù)安裝了Mathematica 12。

Robert運行代碼時基本沒什么問題，但是暴露出了計算筆記本可能會引發(fā)的難點[2]，例如缺乏代碼結(jié)構(gòu)，而代碼段也可能不按順序執(zhí)行。到了今天，Robert通過將代碼拆成模塊并寫了代碼測試。他還使用了版本控制來追蹤代碼的修改，并記錄了哪個版本的軟件產(chǎn)生了什么樣的結(jié)果。“當我讀到老代碼的時候，偶爾會起雞皮疙瘩，然后思考現(xiàn)在能如何做得更好，”他說，“不過，我還覺得整個過程讓我復(fù)習(xí)了從那之后學(xué)的一些知識。”

成功完成挑戰(zhàn)的Robert并非孤例：至今為止發(fā)表的13份重現(xiàn)論文中只有2篇失敗了。其中之一是Hinsen寫的，1990年代初他用來系統(tǒng)性儲存代碼的磁帶讓他栽了跟頭[3]。“這就是做了備份卻沒能在十年后檢查備份是否能讀的下場。”他說，“之前你有這套很好的磁帶，還有備份，但是現(xiàn)在沒有讀取設(shè)備了。”（Hinsen還發(fā)表了一篇成功完成的文章[4]）其他沒能成功完成挑戰(zhàn)的參與者歸因于時間不足，特別是在疫情之下。

挑戰(zhàn)者遇到的另一個普遍問題是過時的計算環(huán)境。現(xiàn)在在意大利國家研究委員會的大氣污染研究所任職的計算物理學(xué)家Sabino Maggi曾經(jīng)使用程序語言Fortran為一種叫做Josephson結(jié)的超導(dǎo)設(shè)備進行了建模，并用微軟的Visual Basic處理了結(jié)果。在那之后，F(xiàn)ortran的改變不多，因此Maggi只微調(diào)了一些就成功編譯了代碼。Visual Basic則造成了更大的麻煩。

“Visual Basic，”Maggi在文章[5]里寫道，“是一門已死的語言，已經(jīng)被Visual Basic.NET取代很久了，而兩者之間只有名字一樣。”為了運行代碼，他不得不在Mac筆記本上重構(gòu)了一個十年前的Windows虛擬機。他用網(wǎng)上找到的安裝盤裝了微軟DOS6.22和Windows3.11（都是1994年前后的軟件）以及Visual Basic。“即使是很久以前的軟件，使用模擬器安裝版權(quán)軟件仍然可能有合法性的問題。”Maggi承認。不過，因為他當時做科研的時候有合法的證書，他說他覺得“至少道德上有資格”使用。

但是該用哪個版本的Visual Basic？微軟在幾年內(nèi)發(fā)布了好幾個版本的Visual Basic，并且不都是向前兼容的。Maggi已經(jīng)記不起1996年他用的是哪個版本的了，而地下室的一次漏水摧毀了他早年記錄這些細節(jié)的筆記本。“我得從頭開始了。”他說。

在Mac上運行1994年Windows的模擬器以運行微軟的Visual Basic。來源：Sabino Maggi

INRIA的研究工程師Ludovic Courtès重現(xiàn)了一份2006年的研究，內(nèi)容是比較不同的數(shù)據(jù)壓縮策略，代碼是用C語言[6]寫的。但是程序員所使用的應(yīng)用程序接口（API）變了，因此他的程序沒辦法用現(xiàn)代的軟件庫編譯。“所有的東西都在進化——當然了，只有論文里用到的那段軟件除外。”他說。最后，他不得不將五六個程序庫回退到了老版本——他稱為“降級的連鎖反應(yīng)”。“這坑有點深。”他說。

今天，研究者可以使用Docker容器[7]和Conda虛擬環(huán)境[8]對計算環(huán)境進行包裝以便于重用。但是幾個挑戰(zhàn)者選擇了另一種方式。Courtes說這“很可能代表了重現(xiàn)科研論文的‘黃金標準’”：一個叫做Guix的Linux軟件包管理系統(tǒng)。它保證環(huán)境可以連每個比特都完全重現(xiàn)，并且對于代碼鏈接時的版本完全透明。“整個環(huán)境，事實上整篇論文都可以從源代碼開始查看并鏈接。”他說。Hinsen將它稱為“可能是目前為止重現(xiàn)科研最好用的東西。”

需要文檔

在INRIA和巴黎大學(xué)的計算機科學(xué)家Roberto DiCosmo嘗試重現(xiàn)[9]的論文中，他提出了另一個挑戰(zhàn)者常見的難題：尋找自己到底把代碼放哪了。DiCosmo挑戰(zhàn)的是1998年的一篇論文，其中描述了一個叫做OcamlP3l的并行程序系統(tǒng)。他搜遍了硬盤和備份，還請1998年的合作者們也搜了一遍，但是什么都沒找到。之后他搜了自己2015年建立的一個服務(wù)Software Heritage。“找到了，不可思議。”他說。

Software Heritage定期爬Github一類的代碼分享站，和Internet Archive備份網(wǎng)頁一樣備份源代碼。開發(fā)者也可以要求該服務(wù)備份自己的庫，而挑戰(zhàn)的規(guī)則也要求挑戰(zhàn)者這樣做：DiCosmo并不是一開始就去Software Heritage上搜索的，因為他開發(fā)OcamlP3l的時候Software Heritage還沒出現(xiàn)。不過，不知道是誰把他的代碼發(fā)到了一個叫Gitorious的庫上。Gitorious現(xiàn)在已經(jīng)消失了，但在那之前被Software Heritage備份，上面的OcamlP3l也就一起被收錄進去。

當然了，找到代碼不意味著就知道該怎么用。比如說，Broman的文章里就提到，他在重現(xiàn)2003年一篇論文[10]的時候因為缺乏文檔和“古怪的”文件結(jié)構(gòu)而花了很大力氣才搞明白到底該運行哪個代碼。“結(jié)果到頭來我得花功夫去讀當初的那篇論文。”他寫道。

“（在結(jié)構(gòu)良好的程序里）文檔比代碼長并不是罕見的事情。”在加州大學(xué)伯克利分校重點研究計算可重現(xiàn)性的Karthik Ram說，“有了足夠詳細的文檔，再更廣泛地描述分析方法，數(shù)據(jù)來源，數(shù)據(jù)和代碼的元數(shù)據(jù)，這些都是很關(guān)鍵的。”

愛丁堡大學(xué)的神經(jīng)科學(xué)家Melanie Stefan利用這次挑戰(zhàn)評估了她用SBML寫的計算模型的可重現(xiàn)性。雖然代碼很好找，但是她找不到之前使用的參數(shù)了（例如分子濃度）。數(shù)據(jù)歸一化時的關(guān)鍵細節(jié)也沒有詳細記錄。結(jié)果，Stefan無法重現(xiàn)一部分研究。“你做科研時候差不多是顯而易見的事不再那么顯而易見了——對10-12年之后的你來說。誰能想到！”她自嘲。

可重現(xiàn)性的光譜

Stefan的經(jīng)歷驅(qū)使她給實驗室訂下了文檔上的規(guī)章——例如，模型中必須附上這樣的說明：“想重現(xiàn)圖5的話，需要按以下步驟執(zhí)行。”

但是寫這些資源需要時間，Stodden說。清理代碼并補充文檔，撰寫測試，整理數(shù)據(jù)集，重現(xiàn)計算環(huán)境——“這些工作量都不出成果”。研究者沒什么動力去做這些事，她補充說，而科學(xué)界關(guān)于可重現(xiàn)的論文應(yīng)當長什么樣也沒什么共識。讓問題進一步復(fù)雜化的是計算系統(tǒng)還在繼續(xù)進化，因此難以預(yù)測哪種策略能一直有效。

可重現(xiàn)性是一條光譜，曼徹斯特大學(xué)的計算機科學(xué)家、研究可重現(xiàn)性的Carole Goble說。從科學(xué)家復(fù)現(xiàn)自己的研究，到同行評審人試運行代碼以證明其有效，再到研究者將發(fā)表的算法應(yīng)用在新數(shù)據(jù)上。類似地，研究者為了保證可重現(xiàn)性所做的事情也能夠成一條光譜（見下“可重現(xiàn)性檢查表”），但是這張表可能會很長。Goble說，把源代碼發(fā)布出去，這樣至少未來其他人可以瀏覽并按需改寫——Goble管它叫“讀代碼的重現(xiàn)手段”。“軟件是有生命的，”她說，“而有生命的東西終將腐朽，因此需要不斷修理，最終就得換掉。”

可重現(xiàn)性檢查表

雖然以下手段不可能百分之百保證計算可重現(xiàn)性，但是可以增大成功率。

代碼 - 如果你的計算過程是在圖形界面上點來點去，例如Excel，是不可重現(xiàn)的。將你的計算和數(shù)據(jù)操作寫成代碼。

文檔 - 使用注釋、計算筆記本和README文件來解釋程序的運作方式，并將預(yù)期的參數(shù)和所需的計算環(huán)境也定義好。

記錄 - 記錄關(guān)鍵參數(shù)，例如隨機數(shù)生成器的種子。這類記錄可以用來重現(xiàn)代碼，發(fā)現(xiàn)漏洞并追蹤意料之外的結(jié)果。

測試 - 寫一套測試函數(shù)。使用正向和負向的控制組數(shù)據(jù)集來確保你能獲得預(yù)期的結(jié)果，并在開發(fā)過程中不斷運行這些測試以便在編程出錯時立刻發(fā)現(xiàn)。

指南 - 寫一個主腳本（例如run.sh文件）來下載所需要的數(shù)據(jù)集和變量，執(zhí)行計算流程并為你的代碼提供一個顯而易見的入口。

存檔 - GitHub是一個流行但是非永久性的在線代碼庫。使用Zenodo、Figshare和Software Heritage這樣的存檔服務(wù)來保證長期的穩(wěn)定性。

追蹤 - 使用Git一類的版本控制工具記錄項目歷史。記錄產(chǎn)生各種結(jié)果的分別是哪個版本。

打包 - 使用容器化的工具（例如Docker和Singularity）、網(wǎng)上服務(wù)（Code Ocean、Gigantum、Binder）或是虛擬環(huán)境管理器（Conda）設(shè)置可以即時使用的計算環(huán)境。

自動化 - 使用持續(xù)集成服務(wù)（例如Travis CI）來自動、定期、在各種計算環(huán)境下測試代碼。

簡化 - 避免罕見或難以安裝的第三方代碼庫，以簡化重用代碼的難度。

驗證 - 在不同的計算環(huán)境下運行你的代碼，以確認其可移植性。

一個不怎么符合直覺的事實是，很多挑戰(zhàn)者都發(fā)現(xiàn)使用更老的語言寫成的代碼反而更易于復(fù)用。新語言的應(yīng)用程序接口會頻繁更新，而它們所依賴的第三方庫則導(dǎo)致代碼更易損壞。從這個意義上講，今年初Python 2.7的退役為科學(xué)家提供了一個機會，Rougier和Hinsen說。Python 2.7“讓我們有了一個保證不會再變化的高級編程語言。”Rougier寫道[1]。

無論研究者使用什么樣的編程語言和可復(fù)現(xiàn)策略，實際驗證一遍都是明智之舉，謝菲爾德大學(xué)的研究軟件工程師Anna Krystalli說。Krystalli負責(zé)舉辦一個叫ReproHacks的研討會，讓研究者提交已經(jīng)發(fā)表的論文、代碼和數(shù)據(jù)，然后要求其他參與者重現(xiàn)其結(jié)果。她說，大多數(shù)情況下是重現(xiàn)不出來的：作者沒能提供一些他們看起來顯而易見而其他人卻不知道的關(guān)鍵細節(jié)。“無論我們在做什么，如果不實際用一用，擺弄擺弄的話就不可能知道是否真的可以重現(xiàn)。”Krystalli說，“實際上，這比人們所想象的要難得多。”