2025年世界政府峰會于2月11日在阿聯酋迪拜開幕，不少科技大佬都參與了峰會，并表達了自己的真知灼見。在這個關口談論科技創(chuàng)新，AI無可避免地成為了絕對的主角。馬斯克吹捧Grok3將成為有史以來最聰明的AI，“這（指新模型發(fā)布之前）可能是其他模型最后一次超過Grok”。而阿里蔡崇信在談AI競賽時則說，“下一個發(fā)布的模型會比某些模型更好，但不一定比其他的好。總會有其他人推出比你更好的東西。”但大佬們的觀點也有共識，技術...

一、背景上一篇文章中我們具體介紹了DeepSeekR1系列模型的構建流程和關鍵技術點，考慮到最近出現了許多相關工作，也分別得出了各種不同的結論，與此同時還出現了大量的誤解。本文中，我們整理了DeepSeekR1等6篇Reasoning相關文章的關鍵結論，以便相互驗證和對比。如下圖所示為這些文章中的一些關鍵指標：相關工作可以參考我們之前的文章：???DeepSeekR1論文解讀&關鍵技術點梳理??????DeepSeekV3詳細解讀：模型&Infra建...

圖片1、為什么我們需要更強大的AI推理能力？在當今時代，人工智能不僅要能夠處理簡單的對話和生成任務，更要具備像人類一樣的推理能力。無論是解決復雜的數學問題，還是編寫高質量的代碼，甚至是進行科學推理，這些都需要AI具備強大的推理能力。而今天要介紹的OpenThinker32B，正是在這個方向上取得的重要突破。圖片2、OpenThinker32B：開源推理的新標桿這個模型最令人興奮的地方在于它的開放性和強大性能。研究團隊通過三個關...

原文鏈接：????https:arxiv.orgabs2501.19393????代碼鏈接：??https:github.comsimplescalings1???Testtimescaling是一種語言建模方法，它利用額外的測試時計算資源來提升性能，OpenAI的o1模型近期也證實了這一方法的有效性。本文旨在探尋實現Testtimescaling以及強大推理性能的最簡途徑。主要貢獻精心策劃小型數據集s1K：該數據集包含1000個問題，并配有推理過程，其構建基于難度、多樣性和質量這三個標準，且通...

主流RAG框架可以分為以下五個主要的進化方向：成本控制型（適合初創(chuàng)公司）、實時互動型（適用于財經新聞場景）、域專家類型、認知增強型、安全與合規(guī)類型。接下來，讓我們詳細了解一下這25種RAG變體。1.標準RAG一個基本的RAG系統(tǒng)由檢索模塊和生成模塊組成。系統(tǒng)會對查詢進行編碼，檢索相關的文檔塊，然后為基于transformer的LLM構建豐富的提示。查詢編碼器：使用預訓練的轉換器（例如DPR）生成密集的查詢嵌入。代碼實現如下：fr...

今天分享DeepSeekR1，Title:DeepSeekR1:IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning：通過強化學習激勵LLM的推理能力。這篇文章介紹了DeepSeek的第一代推理模型DeepSeekR1Zero和DeepSeekR1。DeepSeekR1Zero模型通過大規(guī)模強化學習(RL)訓練，沒有監(jiān)督微調(SFT)作為初步步驟，展示了RL的潛力及其帶來的卓越的推理能力。通過強化學習，DeepSeekR1Zero自然而然地涌現出許多強大而有趣的推理行為。為了進一步優(yōu)...

前言本文基于前期介紹的電力變壓器（文末附數據集），介紹一種綜合應用完備集合經驗模態(tài)分解CEEMDAN與基于麻雀優(yōu)化算法的SSATCNBiLSTMAttention預測模型，以提高時間序列數據的預測性能。該方法的核心是使用CEEMDAN算法對時間序列進行分解，接著利用麻雀優(yōu)化算法對TCNBiLSTMAttention模型進行優(yōu)化，通過對分解后的數據進行建模，來實現精準預測。1.數據CEEMDAN分解與可視化1.1導入數據1.2CEEMDAN分解根據分解結果看，CEEMDAN一...

繼GraphRAG之后，微軟又發(fā)布PIKERAG，主打在復雜企業(yè)場景中私域知識提取、推理和應用能力，PIKERAG已在工業(yè)制造、采礦、制藥等領域進行了測試，顯著提升了問答準確率。demo示例：多層次異構的知識庫構建與檢索+自我進化的領域知識學習RAG系統(tǒng)在滿足現實世界應用的復雜和多樣化需求方面仍然面臨挑戰(zhàn)。僅依靠直接檢索不足以從專業(yè)語料庫中提取深度領域特定知識并進行邏輯推理。企業(yè)場景復雜多樣的Query基于此，微軟亞洲研究院提出...

7B大小的視頻理解模型中的新SOTA，來了！它就是由達摩院出品的VideoLLaMA3，以圖像為中心構建的新一代多模態(tài)視頻語言模型。在通用視頻理解、時間推理和長視頻理解三個核心維度進行評估的過程中，VideoLLaMA3均取得優(yōu)異成績，超越多數基線模型。不僅如此，適用于端側的2B大小的VideoLLaMA3，在圖像理解上的表現也是較為出色。在涵蓋文檔圖表場景文本理解、數學推理、多圖像理解和常識問答等多個維度的基準測試，如在InfoVQA中超...

終于！終于！Claude4被曝將在未來幾周內發(fā)布！高亮重點，最新的它采取了一個與之前模型路線不同的辦法：是個混合型大模型。簡單來說，就是既帶有推理能力，會使用更多的算力來思考和解決難題；在面對簡單問題的時候，又能像傳統(tǒng)大模型一樣短平快地輕巧處理，無需多費不必要的功夫。怎么樣，聽起來是不是和昨天奧特曼透露的GPT5非常類似（doge）。都是不再把傳統(tǒng)通用模型和推理模型分開推出，直接融合在一起。據透露，Anthropic...

Replit「Agent」正以迅猛之勢，推動著編程行業(yè)的深刻變革。Masad于2016年創(chuàng)立了Replit，成立以來一直積極擁抱AI技術，近年來推出了一系列自動化編程產品。回顧Masad近年的言論，會發(fā)現「Agent」的實現速度遠超他之前的預期。他曾斷言「Agent」在2030年之前很難達成。促使這一轉變發(fā)生的關鍵因素，是Anthropic推出的新模型：Claude3.5Sonnet。此前，Replit一直專注于構建自有模型，期望憑借專有數據形成獨特優(yōu)勢。然而，Claude3....

Anthropic終于要開始搞點事情啦！近期的「推理模型」熱潮中，Anthropic除了其CEO打了幾個嘴炮外，還沒有掏出一個拿得出手的產品。在這樣下去，可能要退出AI一線模型玩家行列了。Anthropic自己顯然不想看到這種情況發(fā)生。就在剛剛，有消息稱，Anthropic會在未來幾周內發(fā)布其全新的「混合AI」模型。Anthropic版「推理模型」，測試時計算完全掌控在OpenAI去年秋季發(fā)布其「推理模型」后，谷歌以及國內眾多AI公司紛紛推出了自己的模...

眾所周知，知識蒸餾技術當前正被大模型領域廣泛使用，它可以在大幅壓縮模型體量的同時保持一定的性能、降低模型時延、提升模型精度，與此同時還能對知識域進行集成和遷移。近日，蘋果研究人員提出了一種蒸餾擴展定律（DistillationScalingLaws），基于計算預算及其在學生和教師之間的分配，我們現在開始可以估算蒸餾模型的性能了。圖1.蒸餾擴展定律的外推。蒸餾擴展定律適用于一系列損失為LT的教師的弱學生模型（LS>2.3）。實線...

社交推理游戲是一類需要玩家通過交流和推理來達成目標的游戲，典型的例子是我們熟悉的《狼人殺》，這些游戲要求玩家在有限的信息下，通過與其他玩家的交流和互動，推斷出某個隱藏角色的身份。假如讓多智能體玩狼人殺，這些智能體可以合作、競爭或者兩者兼而有之。研究多智能體環(huán)境不僅有助于理解智能體之間的互動，還能為開發(fā)更智能、更協(xié)調的系統(tǒng)提供理論基礎。在多智能體環(huán)境中，使用自然語言進行交流是一種強大的工具。它不...

我們都知道，普通大模型的數學能力并不好，甚至可能會搞不清楚9.8和9.11哪個大。但隨著o1、o3以及DeepSeekR1等推理模型的到來，情況正在發(fā)生變化。比如DeepSeekR1在競賽數學基準AIME2024上達到了79.8%的準確度，成就了自己頭號開源推理模型的地位。而根據OpenAI發(fā)布的數據，o3mini(high)在AIME2024上的準確度更是達到了87.3%，預計o3滿血版的成績還會更好。但即便如此，這些強大的推理模型卻依然常常在一類看起來相當簡單的數學...

自2017年谷歌提出了Transformer架構，以及那篇著名的論文《AttentionIsAllYouNeed》后，注意力機制迅速成為自然語言處理領域的核心技術。大型語言模型（LLMs）借助Transformer的自注意力機制，實現了對復雜語言模式的捕捉，在機器翻譯、文本生成、對話系統(tǒng)等領域取得了革命性的突破。它們不僅改變了學術研究的方向，更深刻地影響了生產力工具的發(fā)展，提高了人們的工作效率和生活質量。隨著模型規(guī)模和數據量的不斷增長，LLMs面臨...

編者按：Devin真的能像人類軟件工程師那樣工作嗎？作為2024年備受矚目的AIAgent產品，它的實際表現如何？我們今天為大家?guī)淼奈恼轮校髡咄ㄟ^一個月的實際使用體驗，發(fā)現Devin在處理簡單、明確的編程任務時表現不錯，但距離達到初級軟件工程師的水平還有很長的路要走。文章詳細介紹了Devin的使用體驗，包括其出色的上手流程設計、與GitHub的便捷集成，以及實時代碼審查功能。在處理范圍狹窄、定義明確的代碼修改時，特別是前...

本文介紹了多代理微調的基本概念，框架組成，以及在實際應用中的優(yōu)勢。最近，麻省理工學院、哈佛大學、斯坦福大學以及DeepMind的研究人員聯合提出了一種新技術，它使用?多個代理??（MultipleAgents）來解決大語言模型（LLM）最緊迫的問題之一：缺乏高質量的訓練數據。畢竟頂尖模型已經消耗了互聯網上的大部分可用的內容，并讓AI實驗室已經用完了適合訓練LLM的數據。解決這一瓶頸問題的一種方案是通過創(chuàng)建合成數據（Synthetic...

DeepSeek引爆AI社區(qū)后，人們都在嘗試本地部署和各領域應用，在新模型基礎上持續(xù)改進的方向也被不斷提出。與此同時，英偉達卻在嘗試用DeepSeek給大模型pipeline本身搞自動化。本周三，英偉達在博客中介紹了利用DeepSeekR1和推理時擴展技術來自動生成優(yōu)化GPU內核的最新研究成果，效果異常的好。對此有人評價道：難不成英偉達在自拆護城河？也有人已經開始擔心自己的工作會不會被AI代替了。隨著AI大模型規(guī)模不斷擴展，能力持續(xù)進步...

關乎當紅炸子雞DeepSeek，奧特曼最新觀點出爐：對DeepSeek的出現并不意外，而且類似的情況會越來越多。這就是奧特曼在最新一期《泰晤士報》科技播客節(jié)目中所提及的內容之一。并且在被問及是否擔心OpenAI會成為AI界的Napster（首個P2P音樂共享平臺，后因商業(yè)壓力以失敗告終）時，他表示：唯一不讓這種事發(fā)生的方法就是每天都為此擔心。我覺得這種事不會發(fā)生在我們身上的原因就是我們一直都在為此感到壓力。是有一種沒有壓力就沒...