目錄?

1. Language models generalize beyond natural proteins
2. A high-level programming language for generative protein design
3. DOC: Improving Long Story Coherence With Detailed Outline Contro 
4. Scalable Diffusion Models with Transformers 
5. Point-E: A System for Generating 3D Point Clouds from Complex Prompts
6. Reprogramming to recover youthful epigenetic information and restore vision
7. Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning
8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精選論文（附音頻）

論文 1：Language models generalize beyond natural proteins?

• 作者：Robert Verkuil 、 Ori Kabeli 等
• 論文地址：https://www.biorxiv.org/content/10.1101/2022.12.21.521521v1.full.pdf

摘要：研究者專注于兩個蛋白質設計任務：指定結構的固定骨架設計；從模型中采樣結構的無約束生成。盡管語言模型僅針對序列進行訓練，但該研究發現它們能夠設計結構。在該研究的實驗結果中，一共生成了 228 種蛋白質，設計成功的比率是 152/228（67%）。

在 152 個實驗成功的設計中，有 35 個與已知的天然蛋白質沒有明顯的序列匹配。

對于固定主干設計，語言模型成功為 8 個經過實驗評估的人工創建的固定主干目標生成了蛋白質設計。

對于不受約束生成的情況，采樣的蛋白質涵蓋了不同的拓撲結構和二級結構組成，結果具有很高的實驗成功率 71/129（55%）。

下圖 1 是 ESM2 模型設計蛋白質的總體流程：

推薦：該研究發現 ESM2 語言模型通過學習深層語法，就能生成天然蛋白質以外的新蛋白質。

論文 2：A high-level programming language for generative protein design?

• 作者：Brian Hie 、 Salvatore Candido 等
• 論文地址：https://www.biorxiv.org/content/10.1101/2022.12.21.521526v1.full.pdf

摘要：FAIR 研究者從模塊化和可編程性入手，將兩者置于更高的抽象層次，蛋白質設計者只需要重新組合高級指令，然后在生成模型上執行指令即可。

他們提出的生成蛋白質設計的編程語言，允許設計人員指定直觀、模塊化和分層的程序。該編程語言首先需要一個語法樹 (圖 1A)，由末端符號 (即樹的葉子) 和非末端符號 (即樹的內部節點) 組成，前者對應一個獨特的蛋白質序列 (在蛋白質中可能重復)，后者支持分層組織。

此外還需要一個基于能量的生成模型。首先，蛋白質設計器指定一個高級程序，該程序由一組按層次組織的約束組成（圖 1A）。然后，該程序編譯為一個能量函數，用于評估與約束的兼容性，約束是任意的且不可微的（圖 1B）。最后通過將原子級結構預測（由語言模型支持）合并到能量函數中，可以生成大量復雜的蛋白質設計（圖 1C）。

推薦：編程生成復雜和模塊化的蛋白質結構。

論文 3：DOC: Improving Long Story Coherence With Detailed Outline Contro

• 作者：Kevin Yang 、 Dan Klein 等
• 論文地址：https://arxiv.org/pdf/2212.10077.pdf

摘要：前段時間，模仿人類寫作過程的語言模型 Re^3 發布，該模型不需要微調大模型，而是通過設計 prompt 來生成一致性強的故事。

現在，該研究團隊又提出了一個生成故事的新模型 DOC。論文作者 Kevin Yang、田淵棟也在推特上發文宣傳了 DOC 模型，表示 DOC 比 Re^3 生成的故事更加連貫、有趣。

DOC 框架意指詳細大綱控制（Detailed Outline Control），用于在自動生成數千字長故事時提高情節的連貫性。DOC 由兩個互補的組件組成：詳細大綱組件（Detailed Outliner）、詳細控制器（Detailed Controller）。

Detailed Outliner 負責創建詳細的、分層結構的大綱，將寫作創意從起草轉移到規劃階段。Detailed Controller 則通過控制故事段落與大綱細節對齊，確保生成結果遵循詳細的大綱。

該研究對模型自動生成故事的功能進行了人工評估，DOC 在多個指標上獲得了大幅增益：情節連貫性（22.5%）、大綱相關性（28.2%）和趣味性（20.7%），大大優于 Re^3 模型。此外，DOC 在交互式生成環境中更易于控制。

推薦：田淵棟等原班人馬又一新作：AI 生成長篇故事，數千字長文也能連貫、有趣。

論文 4：Scalable Diffusion Models with Transformers

• 作者：William Peebles 、謝賽寧
• 論文地址：https://arxiv.org/pdf/2212.09748.pdf

摘要：本文中來自 UC 伯克利的 William Peebles 以及紐約大學的謝賽寧撰文《 Scalable Diffusion Models with Transformers 》，目標是揭開擴散模型中架構選擇的意義，并為未來的生成模型研究提供經驗基線。該研究表明，U-Net 歸納偏置對擴散模型的性能不是至關重要的，并且可以很容易地用標準設計（如 transformer）取代。

該研究專注于一類新的基于 Transformer 的擴散模型：Diffusion Transformers（簡稱 DiTs）。DiTs 遵循 Vision Transformers (ViTs) 的最佳實踐，有一些小但重要的調整。DiT 已被證明比傳統的卷積網絡（例如 ResNet ）具有更有效地擴展性。

具體而言，本文研究了 Transformer 在網絡復雜度與樣本質量方面的擴展行為。研究表明，通過在潛在擴散模型 (LDM) 框架下構建 DiT 設計空間并對其進行基準測試，其中擴散模型在 VAE 的潛在空間內進行訓練，可以成功地用 transformer 替換 U-Net 主干。本文進一步表明 DiT 是擴散模型的可擴展架構：網絡復雜性（由 Gflops 測量）與樣本質量（由 FID 測量）之間存在很強的相關性。通過簡單地擴展 DiT 并訓練具有高容量主干（118.6 Gflops）的 LDM，可以在類條件 256 × 256 ImageNet 生成基準上實現 2.27 FID 的最新結果。

推薦：統治擴散模型的 U-Net 要被取代了，謝賽寧等引入 Transformer 提出 DiT。

論文 5：Point-E: A System for Generating 3D Point Clouds from Complex Prompts?

• 作者：Alex Nichol、Heewoo Jun 等
• 論文地址：https://arxiv.org/abs/2212.08751

摘要：OpenAI 開源的 3D 模型生成器 Point-E 引發了 AI 圈的新一輪熱潮。根據與開源內容一并發布的論文介紹，Point-E 可以在單塊 Nvidia V100 GPU 上在一到兩分鐘內生成 3D 模型。相比之下，現有系統（如谷歌的 DreamFusion）通常需要數小時和多塊 GPU。

Point-E 不輸出傳統意義上的 3D 圖像，它會生成點云，或空間中代表 3D 形狀的離散數據點集。Point-E 中的 E 是「效率」的縮寫，表示其比以前的 3D 對象生成方法更快。不過從計算的角度來看，點云更容易合成，但它們無法捕獲對象的細粒度形狀或紋理 —— 這是目前 Point-E 的一個關鍵限制。

為了解決這一問題，OpenAI 團隊訓練了一個額外的人工智能系統來將 Point-E 的點云轉換為網格。

推薦：三次元的文本到圖像 AI 成了：單 GPU 不到一分鐘出貨，OpenAI 出品。

論文 6：Reprogramming to recover youthful epigenetic information and restore vision?

• 作者：Yuancheng Lu、Benedikt Brommer
• 論文地址：https://www.nature.com/articles/s41586-020-2975-4

摘要：2020 年 12 月 2 日，頂級科學期刊《Nature》的封面上，出現了幾個令人驚奇的詞匯：「Turning Back Time」（時光倒流）。

登上封面的研究來自于哈佛大學醫學院終身教授 David Sinclair 的團隊。盡管文章只有寥寥數頁，卻展示了全新的前景 —— 利用基因治療誘導神經節細胞重編程，恢復年輕的表觀遺傳信息，從而使得視神經能在損傷后再生，并逆轉青光眼和衰老造成的視力下降。

David Sinclair 表示，團隊的研究目標始終是減緩和逆轉人體衰老，通過解決病因而不是癥狀來治療疾病。

在 2020 年這項研究的基礎上，David Sinclair 的團隊正使用名為「REVIVER」的年齡逆轉技術在非人類靈長類動物身上進行測試，以觀察看它是否安全并能像小鼠一樣治療失明。

最新的研究則來自 David Sinclair 及其領導的 60 人團隊，他表示，衰老就像 CD 上可以擦掉的劃痕，或者系統里損壞的軟件，只需重新安裝即可實現逆轉，就像《Lifespan》書中所說的那樣。

在預印版論文中，作者表示所有生物都會隨時間推移丟失遺傳信息，逐漸喪失細胞功能。使用被稱為 ICE（用于表觀基因組的可誘導變化）的轉基因小鼠系統，研究人員證明了修復非誘變 DNA 斷裂的過程加速了與年齡相關的生理、認知和分子變化，包括表觀遺傳的侵蝕， 細胞能力喪失、細胞衰老等。

研究人員稱，通過異位表達進行的表觀遺傳重編程可恢復年輕基因表達的模式。

推薦：逆轉衰老的研究。

論文 7：Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning?

• 作者：Kun Huang、Edward Hu、Dinesh Jayaraman
• 論文地址：https://openreview.net/pdf?id=sK2aWU7X9b8

摘要：通常來說，物理相互作用有助于揭示不太明顯的信息，例如我們可能會拉一下桌腿來評估它是否穩固，或者把一個水瓶倒過來檢查它是否漏水，該研究建議可以通過訓練機器人來自動獲得這種交互行為，以評估機器人嘗試執行技能的結果。這些評估反過來作為 IRF（interactive reward functions），用于訓練強化學習策略以執行目標技能，例如擰緊桌腿。此外，即使完全訓練完成之后，IRF 也可以作為改進在線任務執行的驗證機制。對于任何給定的任務， IRF 訓練非常方便，并且不需要進一步的規范。

評估結果表明，IRF 可以實現顯著的性能改進，甚至可以通過訪問演示或精心設計的獎勵來超越基線。比如下圖中，機器人必須先關門，然后旋轉對稱的門把手才能完全鎖住門。