目錄：

1. Quantum machine learning beyond kernel methods
2. Wearable in-sensor reservoir computing using optoelectronic polymers with through-space charge-transport characteristics for multi-task learning
3. Dash: Semi-Supervised Learning with Dynamic Thresholding
4. StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis
5. Open-Vocabulary Multi-Label Classification via Multi-Modal Knowledge Transfer
6. ChatGPT is not all you need. A State of the Art Review of large Generative AI models
7. ClimaX: A foundation model for weather and climate
8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精選論文（附音頻）

論文 1：Quantum machine learning beyond kernel methods

• 作者：Sofiene Jerbi 等
• 論文地址：https://www.nature.com/articles/s41467-023-36159-y

摘要：本文中，來自奧地利因斯布魯克大學(xué)的研究團隊確定了一個建設(shè)性框架，該框架捕獲所有基于參數(shù)化量子電路的標(biāo)準(zhǔn)模型：線性量子模型。

研究人員展示了使用量子信息論中的工具如何將數(shù)據(jù)重新上傳電路有效地映射到量子希爾伯特空間中線性模型的更簡單圖像中。此外，根據(jù)量子比特數(shù)和需要學(xué)習(xí)的數(shù)據(jù)量來分析這些模型的實驗相關(guān)資源需求。基于經(jīng)典機器學(xué)習(xí)的最新結(jié)果，證明線性量子模型必須使用比數(shù)據(jù)重新上傳模型多得多的量子比特才能解決某些學(xué)習(xí)任務(wù)，而核方法還需要多得多的數(shù)據(jù)點。

研究結(jié)果提供了對量子機器學(xué)習(xí)模型的更全面的了解，以及對不同模型與 NISQ 約束的兼容性的見解。

這項工作中研究的量子機器學(xué)習(xí)模型。

推薦：超越核方法的量子機器學(xué)習(xí)，量子學(xué)習(xí)模型的統(tǒng)一框架。

論文 2：Wearable in-sensor reservoir computing using optoelectronic polymers with through-space charge-transport characteristics for multi-task learning

• 作者：Xiaosong Wu 等
• 論文地址：https://www.nature.com/articles/s41467-023-36205-9

摘要：傳感器內(nèi)多任務(wù)學(xué)習(xí)不僅是生物視覺的關(guān)鍵優(yōu)點，也是人工智能的主要目標(biāo)。然而，傳統(tǒng)的硅視覺芯片存在大量時間以及能量開銷。此外，訓(xùn)練傳統(tǒng)的深度學(xué)習(xí)模型在邊緣設(shè)備上既不可擴展也不可負(fù)擔(dān)。

本文中，中科院和香港大學(xué)的研究團隊提出了一種材料算法協(xié)同設(shè)計來模擬人類視網(wǎng)膜的學(xué)習(xí)范例，并且低開銷。基于具有有效激子解離和貫穿空間電荷傳輸特性的瓶刷形半導(dǎo)體 p-NDI，開發(fā)了一種基于可穿戴晶體管的動態(tài)傳感器儲層計算系統(tǒng)，該系統(tǒng)在不同任務(wù)上表現(xiàn)出優(yōu)異的可分離性、衰減記憶和回波狀態(tài)特性。

與憶阻有機二極管上的「讀出功能」相結(jié)合，RC 可識別手寫字母和數(shù)字，并對各種服裝進行分類，準(zhǔn)確率分別為 98.04%、88.18% 和 91.76%（高于所有已報告的有機半導(dǎo)體）。

傳統(tǒng)半導(dǎo)體和 p-NDI 的光電流響應(yīng)比較，以及傳感器內(nèi) RC 系統(tǒng)的詳細(xì)半導(dǎo)體設(shè)計原理。

推薦：低能耗低時耗，中科院 & 香港大學(xué)團隊使用新方法進行多任務(wù)學(xué)習(xí)的可穿戴傳感器內(nèi)儲層計算。

論文 3：Dash: Semi-Supervised Learning with Dynamic Thresholding

• 作者：Yi Xu 等
• 論文地址：https://proceedings.mlr.press/v139/xu21e/xu21e.pdf

摘要：這篇論文創(chuàng)新性地提出用動態(tài)閾值（dynamic threshold）的方式篩選無標(biāo)簽樣本進行半監(jiān)督學(xué)習(xí)（semi-supervised learning，SSL）的方法，我們改造了半監(jiān)督學(xué)習(xí)的訓(xùn)練框架，在訓(xùn)練過程中對無標(biāo)簽樣本的選擇策略進行了改進，通過動態(tài)變化的閾值來選擇更有效的無標(biāo)簽樣本進行訓(xùn)練。Dash 是一個通用策略，可以輕松與現(xiàn)有的半監(jiān)督學(xué)習(xí)方法集成。

實驗方面，我們在 CIFAR-10、CIFAR-100、STL-10 和 SVHN 等標(biāo)準(zhǔn)數(shù)據(jù)集上充分驗證了其有效性。理論方面，論文從非凸優(yōu)化的角度證明了 Dash 算法的收斂性質(zhì)。

Fixmatch 訓(xùn)練框架

推薦：達摩院開源半監(jiān)督學(xué)習(xí)框架 Dash，刷新多項 SOTA。

論文 4：StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis

• 作者：Axel Sauer 等
• 論文地址：https://arxiv.org/pdf/2301.09515.pdf

摘要：擴散模型在文本到圖像生成方面是最好的嗎？不見得，英偉達等推出的新款 StyleGAN-T，結(jié)果表明 GAN 仍具有競爭力。StyleGAN-T 只需 0.1 秒即可生成 512×512 分辨率圖像：

推薦：GAN 強勢歸來？英偉達耗費 64 個 A100 訓(xùn)練 StyleGAN-T，優(yōu)于擴散模型。

論文 5：Open-Vocabulary Multi-Label Classification via Multi-Modal Knowledge Transfer

• 作者：Sunan He 等
• 論文地址：https://arxiv.org/abs/2207.01887

摘要：在多標(biāo)簽分類系統(tǒng)中，經(jīng)常遇到大量在訓(xùn)練集中未曾出現(xiàn)的標(biāo)簽，如何準(zhǔn)確地識別這些標(biāo)簽是非常重要也極富挑戰(zhàn)性的問題。

為此，騰訊優(yōu)圖實驗室聯(lián)合清華大學(xué)和深圳大學(xué)，提出了一種基于多模態(tài)知識遷移的框架 MKT，利用圖文預(yù)訓(xùn)練模型強大的圖文匹配能力，保留圖像分類中關(guān)鍵的視覺一致性信息，實現(xiàn)多標(biāo)簽場景的 Open Vocabulary 分類。本工作已入選 AAAI 2023 Oral。

ML-ZSL 和 MKT 方法比較。

推薦：AAAI 2023 Oral | 如何識別未知標(biāo)簽？多模態(tài)知識遷移框架實現(xiàn)新 SOTA。

論文 6：ChatGPT is not all you need. A State of the Art Review of large Generative AI models

• 作者：Roberto Gozalo-Brizuela 等
• 論文地址：https://arxiv.org/abs/2301.04655

摘要：過去兩年，AI 領(lǐng)域里已經(jīng)出現(xiàn)大量大型生成模型，如 ChatGPT 或 Stable Diffusion。具體而言，這些模型能夠執(zhí)行像通用問答系統(tǒng)或自動創(chuàng)建藝術(shù)圖像等任務(wù)，這些任務(wù)正在徹底改變很多領(lǐng)域。

在近日由西班牙 Comillas Pontifical University 研究人員提交的綜述論文中，作者試圖以簡潔的方式描述生成式 AI 對當(dāng)前很多模型的影響，并對最近發(fā)布的主要生成式 AI 模型進行分類。

分類圖示。

推薦：ChatGPT is not all you need，一文綜述 6 大公司 9 類生成式 AI 模型。

論文 7：ClimaX: A foundation model for weather and climate

• 作者：Tung Nguyen 等
• 論文地址：https://arxiv.org/abs/2301.10343

摘要：微軟自主系統(tǒng)與機器人研究小組以及微軟研究院科學(xué)智能中心開發(fā)了 ClimaX，這是一種靈活且可推廣的天氣和氣候科學(xué)深度學(xué)習(xí)模型，可以使用跨越不同變量、時空覆蓋和物理基礎(chǔ)的異構(gòu)數(shù)據(jù)集進行訓(xùn)練。

ClimaX 使用新穎的編碼和聚合塊擴展了 Transformer 架構(gòu)，這些塊允許有效使用可用計算，同時保持通用性。ClimaX 在源自 CMIP6 的氣候數(shù)據(jù)集上使用自我監(jiān)督學(xué)習(xí)目標(biāo)進行了預(yù)訓(xùn)練。然后可以對預(yù)訓(xùn)練的 ClimaX 進行微調(diào)，以解決廣泛的氣候和天氣任務(wù)，包括那些涉及預(yù)訓(xùn)練期間看不到的大氣變量和時空尺度的任務(wù)。

預(yù)訓(xùn)練期間使用的 ClimaX 架構(gòu)

推薦：微軟團隊發(fā)布第一個基于 AI 的天氣和氣候基礎(chǔ)模型 ClimaX。