[[135790]]

5 月份的時(shí)候，百度超級計(jì)算機(jī) Minwa 在計(jì)算機(jī)視覺挑戰(zhàn)賽（ILSVRC）上取得了“世界***的成績”，他們的系統(tǒng)在測試 ImageNet 分類數(shù)據(jù)集中的錯誤率僅為 4.58%，擊敗了谷歌、微軟等競爭對手。

而在 6 月 2 日，ILSVRC 的組織者指出，百度在測試過程中作弊，測試的頻率遠(yuǎn)超規(guī)定次數(shù)。ImageNet 允許參賽方每周提交兩組測試結(jié)果。然而，百度在 3 月份的 5 天內(nèi)提交了逾 40 次測試結(jié)果。對此，百度承認(rèn)違規(guī)行為，并且已經(jīng)就此事道歉。

曾在 ImageNet 測試中獲勝的人工智能公司 Clarifai CEO Matthew Zeiler 表示：

“這種做法十分糟糕，這正是為什么要將測試數(shù)據(jù)獨(dú)立服務(wù)器上，并限制訪問次數(shù)的原因。如果你知道了測試數(shù)據(jù)，你就會修改你的模型參數(shù)，怎么優(yōu)化都可以。” 

目前，ImageNet 組織方已經(jīng)要求百度停止在明年提交 ImageNet 測試成績。 

[[135791]]

相關(guān)報(bào)道一、百度在人工智能基準(zhǔn)測試中取得全球***的成績

《華爾街日報(bào)》報(bào)道稱，百度在人工智能基準(zhǔn)（Artificial Intelligence Benchmark）測試中取得全球***的成績。研究人員稱，這與百度的秘密武器“超級計(jì)算機(jī) Minwa”有很大的關(guān)系。

在測試中，Minwa 掃描了擁有百萬張圖片的數(shù)據(jù)庫 ImageNet，并“學(xué)會”按照預(yù)先確定的 1000 個類別對圖片進(jìn)行分類。在這樣的測試中，錯誤率越低代表識別越精確，目前，一般人的識別錯誤率為5%。微軟的軟件是 4.94%，Google 是 4.8%，而百度是 4.58%。值得一提的是，早前百度在這樣的測試中，錯誤率為 5.98%。與今天的相比，進(jìn)步比較大。

或許因?yàn)檫@樣，在接下來的 18 個月里，百度計(jì)劃建造運(yùn)算速度更加快，更加高級的計(jì)算機(jī)：一個每秒能夠執(zhí)行7*1015 次計(jì)算的超級計(jì)算機(jī)，這足以躋身全球超級計(jì)算機(jī)排行榜前十名。

據(jù)悉，百度的 Minwa 包含 36 個服務(wù)器節(jié)點(diǎn)，每個節(jié)點(diǎn)由 2 個六核英特爾 Xeon E5-2620 處理器和 4 個 NVIDIA Tesla K40m GPU 構(gòu)成。Minwa 超級電腦有 1.7TB 設(shè)備內(nèi)存和 6.9TB 主內(nèi)存。

相關(guān)報(bào)道二、ILSVRC 的組織者公布詳情，百度道歉

北京時(shí)間 6 月 2 日下午消息，百度在近期的大規(guī)模視覺識別挑戰(zhàn)賽(ILSVRC)中被曝存在違規(guī)行為。ILSVRC 的組織者已經(jīng)公布了具體詳情，而百度的相關(guān)團(tuán)隊(duì)已表示了道歉。

以下為郵件全文：

ILSVRC 社區(qū)成員：

這是繼 2015 年 5 月 19 日公告之后的后續(xù)聲明，其中包括更多細(xì)節(jié)和測試服務(wù)器的狀態(tài)。

從 2014 年 11 月 28 日至 2015 年 5 月 13 日，百度一個團(tuán)隊(duì)使用至少 30 個帳號向測試服務(wù)器進(jìn)行了至少 200 次提交，遠(yuǎn)超每周只能提交兩次的限制。這其中包括在短時(shí)間內(nèi)極高的用量。例如，在從 3 月 15 日至 3 月 19 日的 5 天時(shí)間里，提交次數(shù)超過了 40 次。圖A顯示了與百度團(tuán)隊(duì)相關(guān)的 ImageNet 帳號的提交次數(shù)。圖B顯示了這些帳號與所有其他帳號活躍程度的對比。

圖A

圖B

這一期間獲得的成果在近期的 arXiv 論文中進(jìn)行了報(bào)告。由于違反了測試服務(wù)器的使用規(guī)定，這些結(jié)果可能無法與其他團(tuán)隊(duì)獲得并報(bào)告的結(jié)果對比。通過在測試服務(wù)器上測試多種略有不同的解決方案，有可能會出現(xiàn)以下情況：1) 基于測試結(jié)果，在一系列類似解決方案中選出***方案，從而獲得不大，但可能很重要的優(yōu)勢；2) 直接基于測試數(shù)據(jù)，而不是訓(xùn)練和驗(yàn)證數(shù)據(jù)，選擇進(jìn)一步的研發(fā)方式。

我們于 2015 年 5 月 14 日注意到了這些違規(guī)，并于 2015 年 5 月 17 日通知了論文作者。2015 年 5 月 22 日，在進(jìn)行討論，并征求我們研究社區(qū)高級顧問的意見之后，我們通知作者：

1. 他們通過 ImageNet 測試服務(wù)器獲得的結(jié)果無法與他人的結(jié)果直接對比。

2. 對百度基于這些結(jié)果新提交的任何內(nèi)容，我們持懷疑態(tài)度。這包括關(guān)于 ILSVRC 挑戰(zhàn)任務(wù)的所有提交內(nèi)容，以及共享數(shù)據(jù)集的一部分。因此，我們要求他們在未來 12 個月內(nèi)停止向評估服務(wù)器和挑戰(zhàn)任務(wù)提交任何內(nèi)容。

我們正在與涉及此次事件的團(tuán)隊(duì)進(jìn)行溝通。他們請求我們向整個社區(qū)轉(zhuǎn)發(fā)包括以下聲明在內(nèi)的消息。需要指出，為了保持中立性和獨(dú)立性，我們沒有也不能與任何團(tuán)隊(duì)合作，以表述或評估結(jié)果。

目前測試服務(wù)器已經(jīng)重新上線。我們期待繼續(xù)在圖像識別領(lǐng)域取得進(jìn)展。

ILSVRC 組織者

以下是來自百度該團(tuán)隊(duì)的消息：

ILSVRC 社區(qū)：

近期，ILSVRC 組織者聯(lián)系了我們異構(gòu)計(jì)算團(tuán)隊(duì)，并告知我們，我們超過了每周允許向 ImageNet 服務(wù)器進(jìn)行提交的次數(shù)(在我們項(xiàng)目的生命周期中約為 200 次)。

我們對這一錯誤表示道歉，并將繼續(xù)評估結(jié)果。我們已向研究論文《Deep Image: Scaling up Image Recognition》加入了注釋，并將在了解更多情況后提供相關(guān)的更新。

我們支持 ImageNet 挑戰(zhàn)的公平性和透明性，并將致力于科學(xué)發(fā)展的誠實(shí)性。

吳韌，百度異構(gòu)計(jì)算團(tuán)隊(duì)