Yann LeCun:我是卷積神經網絡之父,但也被它的專利卡過脖子
學術研究的專利歸屬對于學者而言很重要,是對自己所做工作的保護和肯定。但如果因公司變故而將自己參與研究的專利分了出去,后續研究還怎么搞?深度學習三巨頭之一、 卷積神經網絡之父 Yann LeCun 就曾遇到過這種「煩心事」。
提起美國貝爾實驗室,喜歡研究科技史的同學想必都不陌生。它是晶體管、激光器、太陽能電池、發光二極管、數字交換機、通信衛星、電子數字計算機、C 語言、UNIX操作系統、蜂窩移動通信設備、長途電視傳送、仿真語言、有聲電影、立體聲錄音以及通信網等許多重大發明的誕生地,擁有數萬項專利。但很多人不知道的是, 卷積神經網絡 也曾是這數萬分之一。
最近,約克大學 EECS 副教授 Kosta Derpanis 就挖出了這么一個冷知識。
他發現,早在 1989 和 1990 年,AT&T 貝爾實驗室就提交了兩份關于 卷積神經網絡的專利申請。專利的名稱是「HIERARCHICAL CONSTRAINED AUTOMATIC LEARNING NEURAL NETWORK FOR CHARACTER RECOGNITION 」,即用于字符識別的分層約束自動學習神經網絡。
為什么 AT&T 貝爾實驗室那么早就申請了卷積神經網絡的專利呢?這還要從卷積神經網絡之父——Yann LeCun 的早期職業生涯說起。
20 世紀 80 年代后期,LeCun 就職于貝爾實驗室。1989 年,他發表了「將反向傳播用于手寫郵政編碼識別」的相關研究,而且已經在美國的郵政系統中成功應用。隨后,這一系統的應用范圍擴展至銀行支票。90 年代末期,該系統已經處理了美國 10%~20% 的支票識別。
關于 卷積神經網絡 的專利,LeCun 是這么回復的:
卷積神經網絡 (ConvNet/CNN)有兩項專利:一個是具有 strided convolution 的 ConvNet,另一是具有獨立池化層的 ConvNet。它們分別于 1989 和 1990 年提交,并于 1990 和 1991 年獲準。
官方認證: 卷積神經網絡 的專利確實是貝爾實驗室90年前后申請的。但 LeCun 之前還提到過一個細節,在 1996 年之后,該專利就跑到了 NCR 的手里。
這又是怎么回事呢?我們接著看 LeCun 的回憶:
我們最開始與一個構建基于 ConvNet 的 OCR 系統的開發團隊合作。此后不久,AT&T 收購了 NCR 公司,后者正為銀行構建支票成像器和分類機,然后支票圖像被發送給人類操作員進行轉錄。顯然,NCR 想要實現這些業務的自動化。
我們最終構建了一個完整的支票讀取系統,該系統足夠可靠,可以進行部署。銀行從 1995 年起開始商業部署。該系統可以讀取大約一半的支票(機器打印或手寫),并將另一半發送給人類操作員。
實際上,首次部署是在 ATM 機上實現金額驗證(由法國 CMB 銀行率先部署)之前一年進行的。接著 1996 年出現了重大變故:AT&T 拆分成了 AT&T(服務)、Lucent(朗訊,電信設備公司)和 NCR。
我們的研究(research)團隊留在了 AT&T(包括 AT&T Labs-Research),工程(engineering )團隊則去了 Lucent,產品(product )團隊去了 NCR。在律師們的努力下,ConvNet 的專利最終分配給了 NCR,因為他們銷售的正是基于 ConvNet 的產品。
所以,我停止了 ML 的研究工作。當時,神經網絡正變得不再受歡迎,我開始與 Léon Bottou(法國學者,因機器學習與數據壓縮的工作而聞名)致力于一個名為 DjVu 的互聯網圖像壓縮項目。我們在 20 世紀 90 年代早期寫了一系列關于這方面工作的論文。(注:LeCun、Léon Bottou 以及另一位學者 Patrick Haffner 都是 DjVu圖像壓縮技術的主要創建者)
直到 2002 年離開 AT&T,我才重新開始 ConvNet 的研究工作。我希望 NCR 沒人意識到他們擁有我所做研究的專利。事實上確實沒有。2007 年該專利到期時,我開了香檳慶祝。
所以我們從這個故事中得到的啟發是:當專利與最適合構建他們的人分開時,專利系統可能會起到反作用。對于實體的東西來說,專利是合理的,但對于軟件這種東西來說,它幾乎從來都不適用。
明明是自己參與發明的東西,但卻因為公司的變故被迫與專利分離,甚至在后續的研究中被卡脖子,LeCun 的遭遇恐怕不是個例。
最近兩年,谷歌為 Dropout 等算法申請專利的新聞也在社區引發了激烈討論。盡管 Jeff Dean 后來親自解釋說:「這些有關算法的專利是防御性質的,主要是為了防止谷歌研究人員的成果被其他機構申請專利后進行訛詐,進而引發經濟損失。」但很多人依然非常反感這種做法,認為「這是一種野蠻且自私的舉動,科學和數學的專利阻礙了人類文明的發展。」從 LeCun 的遭遇來看,反對者的看法似乎是有依據的。