AI.x社區
- 登錄/注冊
OpenAI發布GPT-4.5：功能非常特殊，推理很貴
精華今天凌晨4點，OpenAI進行了在線技術直播，發布了最新模型GPT4.5。GPT4.5與之前的模型相比，本次最大的亮點是加上了“情商”，這也是目前所有大模型最缺、最難的功能。此外，GPT4.5在SimpleQA上的測試數據顯示，超過OpenAIo1、OpenAIo3mini并且幻覺非常低，是目前OpenAI最強大模型之一。OpenAI聯合創始人兼首席執行官SamAltman特意發文對GPT4.5進行了詳細解讀。對我來說，GPT4.5是第一個讓我感覺像是在和一個有思想的人對話的模...模型OpenAI數據關于生成式人工智能訓練的綜合指南
原創本文講述LLM開發生命周期的詳細技術指南，涉及原始文本預訓練、指令調整及人類校準。大語言模型（LLM）通過引入文本生成、摘要和會話式人工智能等高級應用程序，對自然語言處理（NLP）產生了影響。像ChatGPT這樣的模型使用一種叫做“Transformer”的特定神經結構來預測序列中的下一個單詞，通過自注意（Selfattention）機制從大量的文本數據集中學習。本指南分解了訓練生成式人工智能模型的逐步建立過程，包括預訓練，微調，對...LLM大語言模型人工智能你為什么要用GraphGAG？
其實我這個問題不算瞎問。在你的項目里，你是真覺得GraphRAG有用，還是就圖個新鮮勁，這個是非常重要的思考。RAG能干啥，其實不用復雜的解釋了。傳統的方式就是基于向量余弦近似度的查找，當然BM25其實也是傳統RAG（別把它當新東西），常見一點的基本都有向量查找，或者向量+BM25關鍵字集成查找，為了方便我就畫向量的了。如下圖：通用LLM里不太存在專用領域的知識，RAG可以作為外掛知識庫的補充，補充新的知識，另外有些問題，...GraphGAGGTMVectorDB國產AI甩出王炸！DeepSeek開源FlashMLA，小白也能看懂的GPU黑科技
各位小伙伴，大家好，我是Baoxing，見字歡喜！今天是個值得驕傲的日子！上周，DeepSeek在推特發帖，說將從本周開始，陸續開源五個軟件庫（Repos），也將本周定義為了開源周（OpenSourceWeek），開源在技術圈是個“大殺器”，意味著要把自己辛苦研發的技術分享給大家，讓大家都能用上。就在今天上午9點，DeepSeek開源周第一天（Day1），直接扔出來個王炸——FlashMLA！作為AI技術的愛好者，寫這篇文章心里都是滿滿的自豪感，Deep...DeepSeek開源FlashMLA大模型面經：目前不同階段的scaling law之間的區別和聯系是什么？
原創本篇主要總結目前三種scalinglaw：Pretrain、RL、TestTime相關的內容。現在關于scalinglaw是否“撞墻”的討論越來越多，ChinchillaScalingLaw推斷，"即使沒有新數據，也并不意味著模型效果提不上去了，很簡單，只要增加基座模型尺寸，效果仍然會提高，只是從付出的算力和獲得的效果提升來說很不合算，性價比過低"。這也是為什么大家由PretrainScalingLaw轉到RLScalingLaw和TestTimeScalingLaw的原因。本篇就來以面經的形式整理...大模型scaling law面試干貨強化學習與軟件工程：開源軟件獎勵演化的強化學習
SWERL:AdvancingLLMReasoningviaReinforcementLearningonOpenSoftwareEvolution20250225｜MetaFAIR,UIUC,MetaGenAI,CMU??37???http:arxiv.orgabs2502.18449v1????????https:huggingface.copapers2502.18449????????https:github.comfacebookresearchswerl???研究背景與意義近年來，大型語言模型（LLMs）在軟件工程（SE）任務中的應用引起了廣泛關注。研究者們探索了LLMs在自動化復雜SE任務中的潛力，例如...強化學習LLMsSWE-RLMLLMs人類偏好增強對齊，自然圖像和數據圖表分離；視覺感知標記，模型自主決定感知內容
OmniAlignV:TowardsEnhancedAlignmentofMLLMswithHumanPreference20250225｜SJTU,ShanghaiAILab,NJU,FDU,ZJU??54???http:arxiv.orgabs2502.18411v1????????https:huggingface.copapers2502.18411????????https:github.comPhoenixZ810OmniAlignV???研究背景與意義隨著多模態大語言模型（MLLMs）的快速發展，現有的研究主要集中在提升模型的基礎能力，如物體識別、OCR等，而在與人類偏好對齊方面存在顯著差...MLLMsMLLM視覺DeepSeek一口氣開源3個項目，還有梁文鋒親自參與，昨晚API大降價
精華DeepSeek的開源周已經進行到了第四天（前三天報道見文末「相關閱讀」）。今天這家公司一口氣發布了兩個工具和一個數據集：DualPipe、EPLB以及來自訓練和推理框架的分析數據。DeepSeek表示，DualPipe曾在V3R1的訓練中使用，是一種用于計算通信重疊的雙向pipeline并行算法。EPLB是為V3R1打造的專家并行負載均衡器。而公布訓練和推理框架的分析數據是為了幫助社區更好地理解通信計算重疊策略和底層實現細節。DualPipe鏈接：https:g...DeepSeek開源AI外網夸爆DeepSeek開源周！今天一口氣開源3個重磅！壓軸戲期待拉滿，R2、V4、被提名
原創好家伙！DeepSeek是真的OpenAI啊！在第四天的開源日中，竟然一口氣放出三個重磅的優化并行策略代碼庫，而且又是V3R1模型中的干貨：DualPipe：一種優化的雙向流水線并行算法，旨在優化V3R1模型訓練中的計算和通信重疊。稍微解釋一下，通常在分布式訓練中，計算和通信要有兩次耗時，而DualPipe通過設計并行算法來處理這兩者之間的重疊，可謂是訓練界的時間管理大師！??https:github.comdeepseekaiDualPipe??EPLB(ExpertParall...DeepSeek開源AIAI長視頻生成終現"免費午餐"！RIFLEx顛覆性發現：調控頻率就能突破時長魔咒
論文鏈接：https:arxiv.orgpdf2502.15894項目鏈接：https:riflexvideo.github.io亮點直擊通過分析現有方法的失敗模式并揭示位置嵌入中各個頻率成分的作用，提供了對視頻長度外推的全面理解。提出了RIFLEx，一種簡單而有效的解決方案，通過適當降低內在頻率來減少重復，且無需任何額外修改。RIFLEx提供了一種真正的“免費午餐”——在最先進的視頻擴散Transformer上以完全無需訓練的方式實現高質量的2倍外推。此外，通過少量微調...訓練模型生成詳解MMoE 模型：多任務學習中的專家混合建模與實踐【附代碼】
MMOE模型由谷歌研究團隊于2018年在論文《ModelingTaskRelationshipsinMultitaskLearningwithMultigateMixtureofExperts》中提出，是一種新穎的多任務學習框架，廣泛應用于推薦系統中。本文從技術背景、演化過程、計算原理、關鍵問題解析以及基于PyTorch的代碼實現方面對MMoE架構進行深入探究。1.技術背景（1）多任務學習的本質是共享表示以及相關任務的相互影響，多任務學習模型并不總是在所有任務上都優于相應的單任務模型。（...MMoE模型技術蘋果開源通用視覺模型：創新訓練方法，超1000顆星
蘋果的研究人員開源了最新通用多模態視覺模型AIMv2，有300M、600M、1.2B和2.7B四種參數，整體能耗很低，可以適用于手機、PC等不同類型的設備。與傳統視覺模型不同的是，AIMV2使用了一種創新的多模態自回歸預訓練方法，將視覺與文本信息深度融合，為視覺模型領域帶來了新的技術突破。簡單來說，就是AIMV2不再局限于僅處理視覺信息的傳統模式，而是將圖像和文本整合為統一的序列進行預訓練。在這個過程中，圖像被劃分為一系列不重...數據訓練模型DeepSeek開源優化并行策略，提升訓練和通信效率
今早10點，DeepSeek開啟了第四天技術分享，開源了三個優化并行策略。分別是DualPipe，一種用于V3R1訓練中計算與通信重疊的雙向流水線并行算法；EPLB，針對V3R1的專家并行負載平衡器；用于分析V3R1中的計算通信重疊。開源地址：https:github.comdeepseekaiDualPipe??https:github.comdeepseekaieplb????https:github.comdeepseekaiprofiledata??DualPipe是一種創新的雙向流水線并行算法，曾首次在V3版本中使用過。與傳統...模型訓練AI循環變換器中的潛在思維：深度與參數效率的權衡研究
研究背景與創新點深度學習模型，尤其是大型語言模型（LLMs）在推理任務上的表現令人矚目。傳統觀點認為，模型參數量是決定推理能力的主要因素。然而，GoogleResearch團隊的這項研究《推理潛在思維：循環變換器的力量》提出了一個更為大膽的觀點：許多推理問題主要需要的是足夠的深度，而非海量參數。該研究探索了循環變換器（LoopedTransformers）在推理任務中的應用潛力，并揭示了模型架構與推理能力之間的深層聯系。本文的核...參數效率語言模型COSMOS：結合特征子空間分解的混合自適應優化器用于大型語言模型的內存高效訓練
摘要大型語言模型（LLMs）在各個領域都取得了顯著的成功，然而，由于它們所處的復雜和高維損失景觀，其優化仍然是一個重大挑戰。雖然自適應優化器如AdamW被廣泛使用，但它們存在關鍵限制，包括無法捕捉坐標之間的相互依賴性以及高內存消耗。本文分析了COSMOS優化器，這是一種新穎的混合優化器，它利用梯度矩陣中特征子空間的重要性變化來實現內存效率，同時不犧牲優化性能。COSMOS將SOAP應用于主特征子空間，該子空間捕捉了主要...COSMOS大型語言模型X-IL：系統化探索模仿學習策略的設計空間
摘要模仿學習（ImitationLearning,IL）作為一種通過模仿示范來教授智能體復雜行為的范式，已經在機器人學習領域展現出巨大潛力。然而，隨著機器學習技術的快速發展，設計現代模仿學習策略需要在特征編碼、架構、策略表示等方面做出眾多決策，這些選擇構成了一個龐大且尚未被充分探索的設計空間。本文詳細分析了XIL框架，這是一個開源的模塊化框架，旨在系統地探索模仿學習策略的設計空間。通過對XIL的架構設計、核心組件以及在L...X-IL系統化學習策略從PPO到GRPO：算力減半的大模型推理能力訓練革命
原創 精華編者按：還在為訓練推理模型燒光算力預算而發愁？當開源小模型遇上數學題就“智商掉線”，如何低成本突破性能瓶頸？傳統RLHF動輒百萬級算力投入，讓多少團隊在強化學習門前望而卻步；格式混亂、邏輯斷層、答案偏差——這些模型推理的頑疾是否也在阻礙你的AI產品落地？本文深入解析DeepSeek團隊突破性的GRPO（群組相對策略優化）技術，這項創新將強化學習所需計算資源幾乎減半，甚至可以結合LoRA在普通消費級GPU上進行模型訓練。...強化學習推理模型AIDeepSeek如何選 滿血版vs蒸餾版 哪個一體機性價比更高
原創選擇DeepSeek時，是選滿血版還是蒸餾版，需要根據具體的業務需求、硬件資源、成本預算以及應用場景來綜合評估。以下是詳細的對比和建議：1.性能與精度滿血版參數規模：基于671B參數（如R1V3模型），支持超長上下文理解，功能覆蓋復雜推理、代碼生成（LeetCode難題通過率92%）、科研論文框架生成等。硬件要求：需專業服務器（如雙H100GPU+1TB內存或8卡A100集群），適合企業級部署。應用場景：適用于自動駕駛、金融風控、醫療影像...DeepSeek滿血版蒸餾版2025年2月五大優秀大語言模型
原創大語言模型（LLMs）是經過海量文本（有時包含其他數據）訓練的高級人工智能系統，能夠理解和生成類人語言。它們使用具有數十億參數的深度神經網絡架構（通常為Transformer架構），以連貫且具備上下文感知的方式預測和生成文本。如今的LLM不僅能進行對話、編寫代碼、分析圖像，還能通過訓練數據中學習到的模式完成更多復雜任務。某些LLM尤其因突破AI能力邊界而脫穎而出：GPT4o、Claude3.5Sonnet、Gemini2.0Flash、Grok3和DeepSee...大語言模型LLMsGPT-4oDeepSeek R2要提前發布！這是有關R2的幾個傳聞：100%國產算力部署！能耗降低25%，多模態模型！
原創DeepSeek今天有兩個大新聞：一個是開源了自家用于助力V3R1模型訓練與推理的一個FP8通用矩陣乘法(GEMM)加速庫，這一塊相信不少業內人士會感興趣，據悉性能高達1350+TFLOPS，進一步揭秘了為什么現在的DeepSeek可以吐字這么流暢，訓練和計算成本為什么如此低廉。不過更為讓人震驚的，相信還是第二個：DeepSeek原定于要5月初發布的DeepSeekR2，現在正在爭取提前甚至盡可能早的發布！這一提前發布R2的消息，是路透社當地時間周二發布...DeepSeek R2多模態模型
