本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

搞機器學(xué)習(xí)的小伙伴們，免不了要在各種數(shù)據(jù)集上，給AI模型跑分。

現(xiàn)在，Papers with Code (那個以論文搜代碼的神器) 團隊，推出了自動跑分服務(wù)，名叫sotabench，以跑遍所有開源模型為己任。

有了它，不用上傳代碼，只要連接GitHub項目，就有云端GPU幫你跑分；每次提交了新的commit，系統(tǒng)又會自動更新跑分。還有世界排行榜，可以觀察各路強手的成績。

除了支持各大主流數(shù)據(jù)集，還支持用戶上傳自己的數(shù)據(jù)集。

也可以看看，別人的論文結(jié)果，到底靠譜不靠譜。

比如說，fork一下Facebook的FixRes這個項目，配置一下評估文件：

然后一鍵關(guān)聯(lián)，讓Sotabench的GPU跑一下ImageNet的圖像分類測試。

就能得到這樣的結(jié)果：

Top-1準(zhǔn)確率，Top-5準(zhǔn)確率，跟論文的結(jié)果有何差距（見注），運行速度，全球排名，全部一目了然。

注：ε-REPR，結(jié)果與論文結(jié)果差距在0.3%以內(nèi)時打勾，差距≥0.3%且比論文結(jié)果差顯示為紅叉，比論文結(jié)果好顯示為勾+

這個免費的跑分神器，發(fā)布一天，便受到熱烈歡迎：推特點贊600+，Reddit熱度270+。

網(wǎng)友紛紛表示：這對開發(fā)者社區(qū)來說太有用了！

那么，先來看一下sotabench的功能和用法吧。

用法簡單，海納百川

團隊說，sotabench就是Papers with Code的雙胞胎姐妹：

Papers with Code大家很熟悉了，它觀察的是論文報告的跑分?？梢杂脕韺ふ腋叻帜Ｐ蛯?yīng)的代碼，是個造福人類的工具。

與之互補，sotabench觀察的是開源項目，代碼實際運行的結(jié)果?？梢詼y試自己的模型，也能驗證別家的模型，是不是真有論文說的那么強。

它支持跟其他模型的對比，支持查看速度和準(zhǔn)確率的取舍情況。

那么，sotabench怎么用？簡單，只要兩步。

第一步，先在本地評估一下模型：

在GitHub項目的根目錄里，創(chuàng)建一個sotabench.py文件。里面可以包含：加載、處理數(shù)據(jù)集和從中得出預(yù)測所需的邏輯。每提交一個commit，這個文件都會運行。然后，用個開源的基準(zhǔn)測試庫來跑你的模型。這個庫可以是sotabench-eval，這個庫不問框架，里面有ImageNet等等數(shù)據(jù)集；也可以是torchbench，這是個PyTorch庫，和PyTorch數(shù)據(jù)集加載器搭配食用更簡單。

一旦成功跑起來，就可以進(jìn)入下一步。

第二步，連接GitHub項目，sotabench會幫你跑：

點擊這個按鈕，連到你的GitHub賬號，各種項目就顯現(xiàn)了。選擇你要測試的那個項目來連接。連好之后，系統(tǒng)會自動測試你的master，然后記錄官方結(jié)果，一切都是跑在云端GPU上。測試環(huán)境是根據(jù)requirement.txt文件設(shè)置的，所以要把這個文件加進(jìn)repo，讓系統(tǒng)捕捉到你用的依賴項。

從此，每當(dāng)你提交一次commit，系統(tǒng)都會幫你重新跑分，來確保分?jǐn)?shù)是最新的，也確保更新的模型依然在工作。

這樣一來，模型出了bug，也能及時知曉。

如果要跑別人家的模型，fork到自己那里就好啦。

目前，sotabench已經(jīng)支持了一些主流數(shù)據(jù)集：

列表還在持續(xù)更新中，團隊也在盛情邀請各路豪杰，一同充實benchmark大家庭。

既支持創(chuàng)建一個新的benchmark，也支持為現(xiàn)有benchmark添加新的實現(xiàn)。

你可以給sotabench-eval或torchbench項目提交PR，也可以直接創(chuàng)建新的Python包。

一旦準(zhǔn)備就緒，就在sotabench官網(wǎng)的論壇上，發(fā)布新話題，團隊會把你的benchmark加進(jìn)去的：

好評如潮

這樣的一項服務(wù)推出，網(wǎng)友們紛紛點贊，好評如潮，推特點贊600+。

有網(wǎng)友表示：

太棒了！對剛?cè)腴T的新手來說，數(shù)據(jù)集獲取、預(yù)處理和評估的自動化和標(biāo)準(zhǔn)化很有用。通過分析不同模型及其超參數(shù)結(jié)果，來評估這些模型，本身是挺困難的一件事，你得在各種論文中查閱大量的非結(jié)構(gòu)化數(shù)據(jù)。有了這個，這件事就輕松多了。（部分意譯）

許多網(wǎng)友對這個項目進(jìn)行了友好的探討及建議，而開發(fā)人員也在線積極回應(yīng)。

比如這位網(wǎng)友建議：能在每次提交的時候報告模型的超參數(shù)嗎？

作者很快回復(fù)說：英雄所見略同。下次更新就加上！

并且，他們還考慮在將來的更新中，讓使用者把鏈接添加到生成模型的訓(xùn)練參數(shù)中。

傳送門

sotabench官網(wǎng)：

https://sotabench.com/

基準(zhǔn)測試庫通用版：

https://github.com/paperswithcode/sotabench-eval

基準(zhǔn)測試庫PyTorch版：

https://github.com/paperswithcode/torchbench