動機離線強化學習(RL)和模仿學習之間的主要區別在于使用價值函數，并且離線RL中的大多數先前工作都側重于使用更好的技術學習更好的價值函數。所以價值函數學習是離線RL的主要瓶頸……對嗎？在這項工作中，研究人員表明，實踐中情況往往并非如此！分析離線強化學習的瓶頸這項工作的主要目標是了解離線RL的性能在實踐中如何受到瓶頸限制。離線RL有三個潛在瓶頸：（B1）數據價值評估不完善（B2）從學習到的價值函數中提取不完善的...

著名云數據平臺Snowflake的研究人員發布了一篇論文，主要對OpenAI的GPT4系列模型進行了研究，查看其文本生成、圖像理解、文檔摘要等能力。在DocVQA、InfographicsVQA、SlideVQA和DUDE數據集上對GPT4、GPT4V、GPT4TurboV+OCR等進行了多維度測試。結果顯示，使用GPT4去執行解讀文檔任務時，無法達到滿意的效果。這是因為，文檔理解不僅是對文本的解析，還涉及到對文檔布局、圖片視覺內容的理解、推理和整合。使用GPT4V去執行時評...

去年11月，最強開源代碼模型DeepSeekCoder亮相，大力推動開源代碼模型發展。今年5月，最強開源MoE模型DeepSeekV2發布，悄然引領模型結構創新潮流。今天，全球首個在代碼、數學能力上與GPT4Turbo爭鋒的模型，DeepSeekCoderV2，正式上線和開源。全球頂尖的代碼、數學能力DeepSeekCoderV2沿用DeepSeekV2的模型結構，總參數236B，激活21B，在代碼、數學的多個榜單上位居全球第二，介于最強閉源模型GPT4o和GPT4Turbo之間。國內第一梯...

前言本文基于Kaggle平臺——洪水數據集的回歸預測（文末附數據集），介紹一種基于CNNLSTM網絡的回歸預測模型。以下是數據集中各列的描述（包括功能名稱的含義）：MonsoonIntensity（季風強度）：這一特征可能衡量該地區季風降雨的強度和頻率，較高的值表示降雨強度更大，可能更頻繁，這可能會導致更高的洪水風險。TopographyDrainage（地形排水）：反映地形的自然排水能力。更好的排水能力（可能由更高的分數表示）可能表明，由...

信息抽取中文開源大模型評測信息提取（IE）在自然語言處理（NLP）中扮演著至關重要的角色，它通過從非結構化文本中提取結構化信息，從而促進與依賴結構化數據的各種現實世界應用的無縫集成。深入探討了主流中文開源LLMs在處理IE任務時的表現，特別是零樣本條件下，即模型未針對特定任務進行微調。模型選擇：共選擇了5個大型語言模型（LLMs）進行實驗：ChatGLM36B、Qwen7BChat和Qwen14BChat、Baichuan213BChat以及ChatGPT2。除了...

微軟總部研究院機器學習理論組負責人萬引大神SébastienBubeck聯手2023新視野數學獎得主RonenEldan、2023新晉斯隆研究獎得主李遠志、2020斯隆研究獎得主YinTatLee等人，在其論文《通用人工智能的火花：GPT4早期實驗》中申明：“GPT4可被視作AGI（人工通用智能）的早期版本”。這項研究最近30天關注度極高，眾多大佬爭相轉發。大神們做了非常專業的評測，雖然最后結論措辭偏向保守，但也實實在在認定了GPT4在AGI方向質的飛躍，同...

6月17日晚，著名生成式AI平臺Runway在官網發布了，全新文生視頻模型——Gen3Alpha。與Gen2相比，Gen3在生成視頻的質量、色彩、飽和度、光影、文本語義還原、運鏡、動作一致性、場景切換等實現大幅度提升。此外，Gen3和Sora、可靈、DreamMachine一樣是個世界模型，具備模擬物理世界的能力。也就是說，其生成視頻的物理效果，例如，下落、碰撞、觸摸、風吹、生長、雨水等都非常逼真。值得一提的是，Runway的聯合創始人曾在今年2月...

一張人像、一段音頻參考，就能讓霉霉在你面前唱碧昂絲的《Halo》。一種名為Hallo的研究火了，GitHub已攬星1k+。話不多說，來看更多效果：不論是說話還是唱歌，都能和各種風格的人像相匹配。從口型到眉毛眼睛動作，各種五官細節都很自然。單獨拎出不同動作強度的比較，動作幅度大也能駕馭：單獨調整嘴唇運動幅度，表現是這樣嬸兒的：有不少網友看過效果后，直呼這是目前最好的開源口型同步視頻生成：這項工作由來自復旦大學、百...

今天給大家介紹最近的一篇探索如何在更好地建模通道(channel)之間的相關性的多元時間序列文章。文章旨在解決通道獨立(channelindependent)方法缺乏對通道之間相關性的利用，以及通道依賴(channeldependent)方法不夠魯棒的問題。這篇文章，提出了一種新穎的中心化結構傳遞不同通道的信息，相比于分布式結構如Attention，Mixer等，這種中心化的結構既降低了計算開銷，而且提高了對于異常通道的魯棒性，以更低的復雜度獲得更好的性...

本文將深度探索LLM可解釋性背后依賴的邏輯，并詳細解釋稀疏自動編碼器對于提取LLM可解釋性特征、增強模型的魯棒性和提升效率方面的重要作用。Zephyra傳說“在盧馬里亞的神秘之地，古老的魔法彌漫在空氣中。這里居住著以太獅鷲Zephyra。Zephyra擁有一個獅子的身體和一雙鷹的翅膀，是掌握宇宙秘密的古老手稿《真理圣典》的受人尊敬的保護者。《真理圣典》隱藏在一個神圣的洞穴中，由Zephyra所保護。Zephyra有一雙淡綠色的眼睛，她...

本文第一作者和通訊作者均來自上海算法創新研究院。其中，通訊作者李志宇博士畢業于中國人民大學計算機專業，并曾在阿里巴巴、小紅書等互聯網公司從事算法落地與研究工作，曾參與了包括千億級商品知識圖譜、用戶圖譜和輿情圖譜的研發工作，累計發表論文四十余篇。李志宇當前在上海算法創新研究院大模型部門（由熊飛宇博士帶領）負責整體的技術研發工作。研究院主頁：https:www.iaar.ac.cn大語言模型（LLM）的迅速發展，引發了關...

當前主流的視覺語言模型（VLM）主要基于大語言模型（LLM）進一步微調。因此需要通過各種方式將圖像映射到LLM的嵌入空間，然后使用自回歸方式根據圖像token預測答案。在這個過程中，模態的對齊是通過文本token隱式實現的，如何做好這一步的對齊非常關鍵。針對這一問題，武漢大學、字節跳動豆包大模型團隊和中國科學院大學的研究人員提出了一種基于對比學習的文本token篩選方法（CAL），從文本中篩選出與圖像高度相關的token，并...

讓AI畫漫畫角色保持一致的新研究來了！創作的連環畫效果belike：頻繁切換主體、人物之間復雜的互動也能保持角色一致性：上述效果來自AutoStudio，是一個由中山大學和聯想團隊聯合提出的無需訓練的多智能體協同框架。AutoStudio采用基于大?語言模型的三個智能體來處理交互，并使用基于擴散模型的Drawer生成高質量圖像。實驗中，AutoStudio無論是在定量還是定性評估中都優于現有方法。AutoStudio長啥樣？由于最先進的?T2I?生成...

GPT4o掀起一股全模態（Omnimodal）熱潮，去年的熱詞多模態仿佛已經不夠看了。要構建全模態智能，意味著能夠理解任何模態并學習通用表示(UniversalRepresentations)。現在，港中文、中科院等提出了一種大規模的全模態預訓練范式，稱為多模態上下文MiCo（MultimodalContext），它可以在預訓練過程中引入更多的模態，數據量，模型參數。借助MiCo，團隊預訓練的模型在多模態學習中表現出極為令人印象深刻的性能，在目前主流的三大類...

如何生成高難度、指令超復雜的視頻呢？北大與快手AI有解了，他們提出新框架VideoTetris，就像拼俄羅斯方塊一樣，輕松組合各種細節在復雜視頻生成任務中，超過了Pika，Gen2等一眾商用模型。這個框架不僅能夠直接增強現有模型的組合生成，還能夠支持涵蓋多復雜指令、多場景變更等更高難度的長視頻生成。首次定義組合視頻生成在文生圖領域，RPG、Omost等項目已經實現了復雜的組合式多物體多場景圖片生成。而在文生視頻領域，組合生...

一、結論寫在前面論文來自MetaRealityLabs、FAR、Meta、HKUST、HKUST(GZ)論文標題：CRAGComprehensiveRAGBenchmark論文鏈接：??https:arxiv.orgpdf2406.04744???檢索增強生成（RetrievalAugmentedGeneration，RAG）最近作為一種有前景的解決方案出現，以緩解大型語言模型（LLM）在知識缺乏方面的不足。然而，現有的RAG數據集并未充分代表真實世界問答（QA）任務的多樣性和動態性。為了彌合這一差距，論文引入了綜合性RAG基...

昨天誕生的??AI視頻新霸主——LumaAI的DreamMachine??，再次在整個互聯網掀起高潮。網友們昨天還集體表示，要舍棄Pika和Runway了，DreamMachine最好！借著每個月免費生成三十次的羊毛，大家紛紛試用。但是，其中有不少翻！車！了！AI圈大佬奧特曼、老黃和Greg正一團和氣地合影，下一秒Greg就突然變臉，一拳揍在奧特曼胸前。隨后三人陷入纏斗模式，現場亂成一團。以及下面這個OpenAI曾經一團和氣的大合影——經過Luma模型的...

一、背景LLM中KVCache占據的顯存越來越大，有很多方案開始嘗試跨層共享K和V，比如我們之前介紹的YOCO、CLA以及LayerCondensedKVCache等，本文介紹的方案也極其類似。對應的論文為：[2406.09297]MLKV:MultiLayerKeyValueHeadsforMemoryEfficientTransformerDecoding對應的代碼庫為：??https:github.comzaydzuhripythiamlkv??PS：感覺本文創新度明顯不足，相關實驗也非常少，只在一個160M模型測試，甚至沒有測試7B模型。二、...

數據和算力，是AI大模型最重要的兩把「鏟子」。算力方面，英偉達的不斷創新和各家代工廠的產能提高，讓世界各處的數據中心拔地而起，研究人員暫時不用擔心計算資源。然而，近些年來，數據成為愈發嚴峻的問題。根據華爾街日報的報道，OpenAI在訓練GPT5時已經遇到了文本數據不足的問題，正在考慮使用Youtube公開視頻轉錄出的文本。關于「數據耗盡」這個問題，非營利研究機構EpochAI在6月4日發布了一篇最新論文。根據他們的預測，...

數學歷來是一門孤獨的科學。1986年，安德魯·懷爾斯（AndrewWiles）為了證明費馬大定理，遁入書齋長達七年之久。數學家苦心孤詣得到的證明往往讓同行難以理解，有些證明至今仍有爭議。但近年來，越來越多的數學領域被嚴格分解成各個組成部分，我們稱之為「形式化」（formalized），這就可以讓計算機來檢查和驗證數學證明。菲爾茲獎得主、加州大學洛杉磯分校教授陶哲軒堅信，這些方法為數學領域的合作開辟了全新的可能性。如果再...