[[201526]]

Nature 子刊 Nature Human Behavior 上***發表了一篇關于人類行為的研究，通過對自然圖像中的字母進行無監督學習，探討了人類是如何獲得文字識別能力的。研究人員提出了一個基于深度神經網絡的大規模字母識別計算模型，通過將概率生成模型與視覺輸入擬合，以完全無監督的方式開發了復雜的內部表征的層次結構。

書寫符號的使用是人類文化發展的重大成就。然而，抽象的字母表征是如何在視覺中進行學習的，這仍然是未解決的問題。發表在 Nature.com 上的一篇題為 Letter perception emerges from unsupervised deep learning and recycling of natural image features 的研究報告中，研究人員提出了一個基于深度神經網絡的大規模的字母識別計算模型，通過將概率生成模型與視覺輸入擬合，以完全無監督的方式開發了更為復雜的內部表征的層次結構。

有這樣一個假設，學習書寫符號部分地重新使用了用于對象識別的預先存在的神經元回路，模型的早期處理階段利用了從自然圖像中學習的一般領域(domain-general)的視覺特征，而特定領域(domain-specific)的特征則出現在曝光于印刷字母前的上游神經元中。

研究論證，即使對于噪聲降級(noise-degraded)的圖像，這些高級別表征可以很容易地映射到字母識別，從而產生和人類觀察者類似的對于字母認知的廣泛實證結果的準確模擬。研究者的模型顯示出，通過重用自然的視覺原語(primitives)，學習書寫符號只需要有限的、特定領域的調整，這支持了字母形狀被文化選擇以匹配自然環境的統計結構的假設。

圖 1a 刻畫了研究者提出的模型的整體架構。網絡底層接收了作為圖像像素 灰度級別激活編碼的感知信號。出現在視網膜和丘腦中的低級別視覺處理被一個啟發自生物學的 whitening 算法所模擬，捕捉到了圖像中的局部空間關系，成為了對比歸一化(contrast normalization)的一個步驟。

圖1 是深度學習架構和自然圖像及印刷字母數據樣本。

a，深度學習架構。每個框代表了網絡中的一層神經元。和 whitening 步驟相應的有方向的箭頭引出了前饋的處理過程，而無方向的連接顯示了無監督生成學習所利用的雙向處理過程。和線性讀數層相應的有方向的箭頭引出了監督學習。在字母處理過程中涉及到的相應大腦網絡顯示在右側(LGN, 背外側膝狀體核; V1, 首要視覺皮層; V2, 二級視覺皮層; V4, 紋狀體外視覺皮層;OTS, 顳枕溝);

b,包含多個小 patch (40 × 40 pixels)的自然圖像，顯示在右側;c,研究者的數據集中印刷字母的樣本，使用多種字體、風格、大小和位置關系創造而成。

研究人員將編碼在***個內部層(隱式)神經元的潛在特征集稱為H1, H1 模仿了出現在早期大腦皮層視覺(corticalvision ，在 V1 和 V2 中)的處理類型。

圖2 是新出現的神經元感受野(receptive fields)、表征選擇和模型中字母識別準確度。

a,在 H1 層中神經元樣本的感受野，灰度體現其連接強度(黑色：強，inhibitory connection;白色：強，excitatory connection);

b,H2 層中隱式神經元樣本的感受野;

c 和 d，H1 層(c)和H2層(d)中對于不同刺激的平均反饋(activation norm);

e, 作為噪聲級別函數(即, 高斯噪聲的標準偏差)的不同表征層讀數的準確度;f，無噪聲刺激樣本，及含噪聲的對應版本，性能表現約為前者的 50%。

圖3 是人類心理物理學研究的模擬。

a，模型混淆矩陣和各種經驗混淆矩陣之間的Pearson 相關性(均P <0.001)。注意，所有經驗矩陣之間的平均互相關為0.56;b，通過 H2 表征層次聚類得出的樹狀圖，表明在網絡的內部表征中保留了字母之間的視覺相似性。連接柱的高度表示歐氏距離(較小的條表示更大的相似度);

c，每個字體的平均perimetric 復雜度與noise-degraded 刺激的相應平均字母識別精度之間的負相關;

d，根據平均字母混淆排列的所有字體列表，從最小混亂(上)到***混亂(底部)。

圖4 是感知渠道中介字母識別的空間頻率分析。

a，b，疊加在高斯噪聲(均方根對比度= 0.2)和背景(亮度= 0.2)上的低通(a)和高通(b)濾波字母的樣本;

c，根據濾波器類型的H2讀數敏感度對比函數，每個字母的頻率范圍從 0.8 到 6.6(兩個軸均為對數)。注意，與對應于低通和高通噪聲的曲線相比，對應于低通濾波和高通濾波的曲線相反，因為研究者直接對輸入信號而不是調制噪聲進行濾波。