AI.x社區
- 登錄/注冊
重磅！4000+實驗揭秘：如何在512個GPU上訓練大語言模型？
圖片想知道ChatGPT這樣的大語言模型是如何煉成的嗎？今天帶你揭開大模型訓練的神秘面紗，看看在數百個GPU上協同訓練大語言模型的技術秘密。為什么這很重要？曾幾何時，訓練大語言模型是少數頂級研究實驗室的專利。雖然現在我們可以下載Llama或DeepSeek這樣的開源模型，但最具挑戰性的部分——訓練代碼、知識和技術仍然隱藏在復雜性之后。這些關鍵知識分散在眾多論文和私有代碼庫中，讓大多數開發者和研究者望而卻步。圖片圖片深...GPU語言模型2W8000字揭秘RAG：從基礎到高級的逆襲，徹底重塑大模型！
精華RAG增強技術分類來源：https:arxiv.orgabs2402.19473最近一項關于檢索增強生成（RAG）的調查總結了三種最新發展的范式：基礎RAG高級RAG模塊化RAGArepresentativeinstanceoftheRAGprocessappliedtoquestionanswering.Itmainlyconsistsof3steps.1)Indexing.Documentsaresplitintochunks,encodedintovectors,andstoredinavectordatabase.2)Retrieval.RetrievetheTopkchunksmostrelevanttothequestionbasedonsemanticsimilarity.3)G...RAG大模型LangSmithKIMI 月之暗面提出（MoBA）大模型長文本處理新解法：塊注意力混合
精華（MoBA）大語言模型長文本處理新解法：塊注意力混合在自然語言處理領域，高效處理長文本一直是個老大難問題。隨著大語言模型在閱讀、理解和生成文本方面的能力不斷提升，其處理輸入的核心——注意力機制，卻逐漸成了瓶頸。在典型的Transformer架構里，這種機制要把每個詞元（token）和其他所有詞元進行比較，這就導致計算成本會隨著序列長度的增加呈二次方增長。如今，我們把語言模型應用到長篇文檔、多章節書籍、法律文書或是...MoBA大模型KIMI小而美！1B模型如何通過測試時優化逆襲405B LLM？
今天分享一篇來自上海人工智能實驗室、清華大學、哈爾濱工業大學和北京郵電大學聯合的一篇文章，標題是：Can1BLLMSurpass405BLLMRethinkingComputeOptimalTestTimeScaling（1B的LLM能否超越405B的LLM？重新思考計算最優的測試時縮放）。這篇文章研究了大型語言模型（LLMs）在「推理階段通過增加計算量來提高性能的測試時縮放」（TestTimeScaling,TTS）方法。作者們「系統地分析了策略模型、過程獎勵模型（PRMs）和問題難度如何...LLM模型測試DeepSeek沖擊下，百度的開源牌能打響嗎？
編輯伊風出品51CTO技術棧（微信號：blog51cto）年初，DeepSeekR1模型的開源讓這個低調的技術品牌一炮打響。隨著DeepSeek應用的飛速增長，AI巨頭正在集體重新審視開源模式的商業價值——這不再只是“賠本賺吆喝”的事情，而是可能帶來實實在在的商業回報。DeepSeek帶來的競爭壓力肉眼可見，連OpenAI的Altman都罕見地改口反思，承認OpenAI在開閉源問題上“站在了歷史錯誤的一端”。Altman甚至在X上發起了投票，詢問大家OpenAI的下...DeepSeek百度開源o1模型醫學推理驚人，超過人類醫生
在醫療領域，大模型的應用和影響力正在不斷擴大。但當前對于大模型在醫療任務中的評估主要依賴于選擇題基準測試，這種方式存在很多局限性，例如，高度受限、無法真實反映臨床決策復雜性以及模型可能通過語義結構答題等問題。為了更全面真實地評估大模型在醫學推理任務中的實際能力，哈佛醫學院、馬里蘭大學醫學院、劍橋健康聯盟、斯坦福大學等通過OpenAI的o1preview模型，設計了一系列嚴謹的實驗，包括鑒別診斷生成、推理展示、...AI模型數據傳統RAG的局限被打破！三個輕量級智能體分工協作，如何讓問答系統更精準？
原創近期，公司在AI相關項目，尤其是問答系統領域，對回答的準確率和表述質量提出了更高的要求。用戶提出的問題不僅限于基礎性問題，還可能涉及多樣化、復雜化的場景。也就在上周五快下班的時候，項目經理向我反饋，之前的項目團隊支持的某客戶在使用問答系統時，除了查詢私有知識庫中的信息外，還會提出以下幾類問題：可直接由大語言模型（LLM）回答的問題：例如通用知識或常識性問題。非知識庫相關的口頭表達：如“謝謝”、“再見...RAGAI人工智能微軟發布創新大模型：一張圖片就能生成游戲，游戲界ChatGPT來了
微軟在官網發布了專用于游戲領域的創新大模型——Muse。雖然Muse基于Transformer架構，但創建游戲場景的方式卻非常獨特，并不依賴傳統的文本提示，而是通過游戲畫面和控制器操作的序列化數據作為輸入提示，從而生成連貫的游戲場景和玩法，同時更符合游戲機制和物理規則的游戲內容。例如，僅通過一張游戲截圖，Muse就能迅速生成多個可能的后續游戲畫面，并通過Xbox手柄控制角色生成與開發者操作相匹配的后續游戲內容，游戲開發效...微軟游戲生成MagicArticulate: 超48K海量數據革新3D動畫，自回歸Transformer驅動關節智能生成！
精華論文鏈接：https:arxiv.orgpdf2502.12135Git鏈接：https:chaoyuesong.github.ioMagicArticulate亮點直擊首個大規模關節化基準數據集，包含超過48,000個具有高質量關節標注的模型；一種新穎的兩階段框架，有效處理骨架生成和蒙皮權重預測；實現了當前最先進的性能，并在實際動畫生產流程中展現了實用性。總結速覽解決的問題隨著3D內容創作的快速增長，自動將靜態3D模型轉換為支持真實動畫的可關節化版本的需求日益增加。然而，傳...3D模型AI傳統分塊已死？Agentic Chunking拯救語義斷裂，實測RAG準確率飆升40%，LLM開發者必看！
原創最近公司處理LLM項目的同事咨詢了我一個問題：明明文檔中多次提到同一個專有名詞，RAG卻總是漏掉關鍵信息。排查后發現，問題出在傳統的分塊方法上——那些相隔幾頁卻密切相關的句子，被無情地拆散了。我給了一些通用的建議，比如使用混合檢索代替單一的語義檢索，基于chunk生成QA對等等。接著他又提出了一個問題，有沒有通過分塊技術能減少這類問題的發生？我說你也可以試試最近新提出的一種分塊策略：AgenticChunking.為什么分...RAGAgenticChunking想聊聊什么是“被動收入”？揭秘它的真相與LLM的機會！
原創01、概述隨著科技的飛速發展，“被動收入”已經成為許多人熱議的話題。大家總希望通過一些創意的方式，創造出不需要花費大量時間和精力的收入來源。那么，什么是真正的被動收入？它是通過什么方式得以實現的？而如今，隨著大型語言模型（LLMs）的興起，我們可以利用它們開創一些全新的機會，甚至對于那些剛入門的朋友，也能輕松上手。今天就讓我們來揭開被動收入的真實面紗，同時探討一下如何利用LLMs賺取額外的收入！02、被動...大語言模型LLM人工智能AI2025年人工智能革命：七大趨勢將如何重塑你的生活？
原創01、概述當ChatGPT在2022年底橫空出世時，全球用戶第一次真切感受到AI對話的震撼。而到了2025年的今天，這場由大型語言模型（LLM）引發的智能革命早已突破實驗室的藩籬，正在重塑我們工作、生活乃至認知世界的方式。從華爾街的交易大廳到社區醫院的問診臺，從電商平臺的智能客服到制造車間的數字孿生，一場靜默卻深刻的技術變革正在每個角落上演。本文將帶您穿越到2025年的智能世界，通過七大核心趨勢解碼LLM如何重構商業版圖與...人工智能AILLM20萬塊H100顯卡覺醒！馬斯克連夜官宣Grok 3：這8個功能讓程序員集體失業
原創 精華01、概述在當今這個科技飛速發展的時代，人工智能已經成為了我們生活中不可或缺的一部分。從智能家居到自動駕駛，從智能客服到醫療診斷，AI的應用無處不在。而今天，我們要聊的主角，是AI領域的一個全新突破——Grok3。02、Grok3：AI界的“超級大腦”誕生！Grok3是由埃隆·馬斯克旗下的AI公司x.AI開發的最新模型。它代表了AI技術的巨大飛躍，為聊天機器人帶來了前所未有的推理能力、處理速度和決策能力。Grok3擁有類似人類的思...大語言模型Grok 3AI構建一個完全本地的語音激活的實用RAG系統
原創本文將探討如何構建一個RAG系統并使其完全由語音激活。RAG（檢索增強生成）是一種將外部知識用于額外上下文以饋入到大語言模型（LLM），從而提高模型準確性和相關性的技術。這是一種比不斷微調模型可靠得多的方法，可以改善生成式AI的結果。傳統上，RAG系統依賴用戶文本查詢來搜索矢量數據庫。然后將檢索到的相關文檔用作生成式AI的上下文輸入，生成式AI負責生成文本格式的結果。然而，我們可以進一步擴展RAG系統，以便能夠接受...RAG檢索增強生成大語言模型Blaze RangePartitioning 算子 Native 實現全解析
原創引言：本文將全面且深入地解析BlazeRangePartitioning算子的Native實現過程。相較于原生Spark，RangePartitioning的Native實現在執行時間上達到了30%的顯著下降，同時在資源開銷方面節省了高達76%。這一改進大幅降低了運行成本，展現了Native實現帶來的巨大優勢。一、算子描述RangePartitioning是shufflepartitioning的一種分區類型。它通過根據數據的值范圍將數據劃分成多個分區。每個分區包含特定范圍內的值，通常用于處理有...sqlspark大模型面經：SFT和RL如何影響模型的泛化或記憶能力？
原創?本篇分享SFT和RL在大模型訓練中起到的作用。監督微調(SFT)和強化學習(RL)都是目前大模型的基礎模型后訓練技術，像DeepSeekR1、kimi等的訓練方法都將兩種技術應用到了極致。如何去設計訓練步驟（先SFT再RL，還是直接RL）都需要對SFT和RL的能力有較深刻的了解。本篇就以面經的形式，探討SFT、RL兩種不同的后訓練范式在基于文本規則和視覺變體的情況下對模型記憶與泛化能力的作用。下面是一個快捷目錄。一、SFT和RL分別對基座大...大模型SFTRL人工智能如何正確看待 AI 的推理能力？走出人類中心主義
原創 精華編者按：人工智能真的能“推理”嗎？我們是否正在用過于狹隘的人類思維，限制了對AI推理能力的認知？我們今天為大家帶來的文章，作者的觀點是：AI的推理能力不應被簡單地用“人類中心主義”的標準來否定。文章重點揭示了三個關鍵內容：推理能力的定義應更加開放，不應局限于傳統人類思維模式通過多個標準化測試（如HellaSwag、WinoGrande），AI在推理任務中已展現出顯著能力我們需要以更開放的心態，將AI視為一種獨特的“外星智...AILLMs通過LM Studio本地私有化部署DeepSeek-R1模型，無網絡也能用
?打開LMStudio官網????選擇適合自己的操作系統，下載LMStudio安裝包成功后運行LMStudio，頂部文本框輸入deepseek，點擊搜索模型在搜索結果中選擇7B參數模型，如上圖右側提示“Noresultfound”說明官方未直接提供deepseekgguf模型文件。這時，我們需要自己到別處下載dsgguf文件，繼續如下操作：?打開魔搭官網，????進入模型庫，搜索deepseekr1選擇deepseekr1gguf模型文件，根據你自己電腦的配置情況，選擇大小合適的參...deepseekai私有化部署阿里重回偉大！吳泳銘財報講話全文曝光：開發者會天然選擇阿里云，發布旗艦推理模型！
原創出品51CTO技術棧（微信號：blog51cto）編輯伊風昨晚，阿里2025財年Q3財報新鮮出爐，同比增長8%，可以說成績相當亮眼！淘天增收繼續加快，阿里云增速重回加速狀態，多項核心業務增速達到年內最佳。財報顯示：阿里第三季度營收增速創逾一年以來最快，資本開支大增，核心業務加速增長，淘天收入增長加快，阿里云收入重回雙位數增長（13%），增幅創約兩年以來最大，AI相關產品收入連續六季度保持三位數增長。圖片阿里績后美股盤前拉...阿里吳泳銘AI全球首個AI CUDA工程師來了！將PyTorch原生實現提速10-100倍
精華用AI提高AI的效率，它們就能變得像人類大腦一樣高效？我們的大腦只用了20瓦的能量就能完成復雜思考，而現代AI系統卻需要成排的高功率GPU和驚人的電力消耗。這種差距如何縮小？日本AI初創公司SakanaAI團隊提出了一個大膽的愿景：利用AI本身來優化AI。他們開發的「AICUDA工程師」是這一理念的具體實踐。「AICUDA工程師」是第一個用于全自動CUDA內核發現和優化的綜合智能體框架。這種方法不僅開創性地將進化計算與大型語言模型相結...AI生成代碼
