AI.x社區
- 登錄/注冊
LLM訓練數據綜述：預訓練與微調數據的規模、來源、類型及開源資源梳理
原創摘要2022年，隨著ChatGPT的發布，大規模語言模型受到了廣泛關注。ChatGPT不僅在參數量和預訓練語料庫規模上遠超前代模型，還通過大量高質量的人工標注數據進行微調，實現了革命性的性能突破。此類進展使得企業和研究機構認識到，構建更智能、更強大的模型依賴于豐富且高質量的數據集。因此，數據集的建設與優化成為人工智能領域的關鍵方向。本文對訓練大規模語言模型所需的預訓練數據和微調數據的現狀進行了總結，涵蓋了數據規...LLM預訓練微調大模型開發理論與技術——大模型應用體系梳理，對大模型應用整體認識
原創“大模型技術開發是一個復雜的領域，我們需要對其形成基礎的認知體系，才能知道我們在做什么以及怎么做。隨著對大模型技術應用的理解加深，以及和身邊朋友和同事的交流，最近發現一個問題，很多人對大模型技術和應用并沒有一個整體的認識；而且由于大模型屬于一個新興領域，也因此產生了很多新的概念和名詞，所以這也間接導致了很多人認為大模型很難很復雜。所以，今天作者就從個人理解的角度對整個大模型體系進行梳理；雖然并...大模型大模型應用大模型技術開發AutoGen從入門到高階系列一：如何從零開始構建你的第一個智能體？
原創最近團隊里的小伙伴都在討論AutoGen，作為一個去年還在手搓智能體的"老派"開發者，我也決定跟上技術潮流。經過一段時間的實踐，我發現這個框架確實能極大提升開發效率。今天開始，我將通過一系列文章，帶大家從零開始掌握AutoGen。文章大致目錄是這么安排的：基礎入門內置智能體自定義智能體及高級技巧智能體到底是如何進行團隊協作的狀態管理swarm模式分布式智能體作為開篇，我們先來認識這個強大的工具。初識AutoGen想象一下...AutoGenAgent智能體NCCL 系列之深入解析 NCCL 拓撲建模
一、概覽1.1引言在大規模分布式訓練中，NCCL的拓撲發現和建模是確保高效通信的核心機制，可以幫助建立硬件感知的通信優化，比如充分利用異構帶寬，避免通信成為瓶頸，會直接影響訓練的性能和擴展性。對應的核心代碼位于：init.cc：ncclsrcinit.ccatmaster·NVIDIAnccl·GitHub[1]topo.cc：ncclsrcgraphtopo.ccatmaster[2]1.2NCCL初始化拓撲建模如下圖所示為NCCL初始化時拓撲相關的核心流程，主要負責系統拓撲發現、路徑建模、設...NCCL拓撲建模提升大模型訓練 MFU：字節“拖后腿”現象分析和歸因
一、背景在之前的系列文章中，筆者已經系統性地介紹過大規模LLM訓練面臨的各種挑戰以及可能涉及的問題和解決方案。在對大規模任務進行Profiling分析的時候，面對成千上萬的kernel也經常苦不堪言，想要通過統計分析來診斷相應的問題，并為優化提供更多的可能性。碰巧看到了字節跳動Seed的這篇文章，雖然社區內沒有看到太多討論，不過其確實與我們的一些思路不謀而合，這里進行簡單介紹。其實文章中的大部分結論性內容筆者在之前...MFU大模型字節谷歌最新研究：大模型為何「學得會」卻「用不好」？
精華圖片你是否遇到過這樣的情況：GPT、Claude等大模型在對話時很聰明，但經過微調后卻變得「變笨」了？這不是你的錯覺，而是AI學習的一個有趣現象。最近，谷歌研究團隊發表了一篇重磅論文，揭示了大模型兩種學習方式之間的巨大差異。現在一起來探索這個AI世界中的奇妙現象：為什么有時候「上下文學習」比「微調學習」更靈活？圖片1、大模型的兩種學習方式，哪個更強？大模型主要通過兩種方式學習新知識：（1）上下文學習（Incontex...谷歌大模型AIAI Agents vs. Agentic AI：從工具型助手到自主協作系統的進化
在人工智能飛速發展的今天，"AIAgent"（AI智能體）已經成為熱門詞匯，但你是否了解它與"AgenticAI"（智能體AI）之間的本質區別？這兩個看似相似的概念實際代表著人工智能領域中兩種截然不同的設計理念和能力邊界。今天，我們將通過解讀這篇論文來為你揭開這兩種技術的神秘面紗。圖片1、AIAgent的崛起：從生成式AI到工具增強型助手ChatGPT的出現讓我們見識了大語言模型(LLM)的強大能力，但這只是AI進化的開始。傳統的生成式AI本...AIAgentsRAG為什么 API 必不可少，而 MCP 暫時是可選的
原創
社區頭條作者GilFeig編輯云昭出品51CTO技術棧（微信號：blog51cto）AI助手在產品體驗中的重要性日益凸顯，而一種新的標準也應運而生，它助力AI助手的構建：模型上下文協議(MCP)。隨著Anthropic、OpenAI和Gemini等主流大型語言模型(LLM)提供商的采用，該協議迅速在更廣泛的軟件生態系統中獲得了廣泛關注，各大公司紛紛構建自己的MCP服務器。作為參與構建MCP服務器和API集成的人員，我親眼目睹了這種快速采用導致的混亂。一些開發人員和產...APIMCPOpenAI四劍客聯手打造下一代互聯網！智能體互聯時代將至！A2A、MCP、Kafka 與 Flink如何強強聯手？
原創 社區頭條編譯云昭出品51CTO技術棧（微信號：blog51cto）智能體（Agent）是個不可逆的趨勢。但今天的AI智能體似乎還處于一個“前標準化”階段。這些雨后春筍般的智能體越來越多，性能強大、增長迅速，但彼此之間卻無法協作——有的智能體用來分析數據，有的用來編寫代碼，有的用來自動化客戶關系管理（CRM）工作流，但它們彼此孤立，互不往來。這就好比幾十年前的互聯網：在萬維網出現HTTP協議之前，在電子郵件擁有SMTP協議之前，我們曾...A2AMCPKafka基于800萬真實數據，康奈爾大學團隊利用圖神經網絡精準預測肺癌患者生存期，發現3類致命亞型
原創10年前，CheckMate017試驗成果曾震動腫瘤學界。「新英格蘭醫學雜志（TheNewEnglandJournalofMedicine）」、「美國醫學會雜志（TheJournaloftheAmericanMedicalAssociation）」等多次報道，接受PD1抑制劑Nivolumab治療的晚期肺鱗癌患者，生存數據顯著提升：中位總生存期從化療6個月升至9.2個月，18個月生存率是化療組2倍。這項研究標志著免疫檢查點抑制劑（ICI）時代開啟，卻也暴露晚期非小細胞肺癌（aNSCLC）患者對免疫治療反應...AI for Science深度學習圖神經網絡編碼器聚類模塊混合生存預測器【TVM 教程】創建使用 microTVM 的 MLPerfTiny 提交
原創ApacheTVM是一個深度的深度學習編譯框架，適用于CPU、GPU和各種機器學習加速芯片。更多TVM中文文檔可訪問→[https:tvm.hyper.ai](https:tvm.hyper.ai)作者：MehrdadHessar本教程展示了如何使用microTVM構建MLPerfTiny提交。該教程演示了從MLPerfTiny基準模型中導入一個TFLite模型，使用TVM進行編譯，并生成一個可以刷寫到支持Zephyr的板上的Zephyr項目，以使用EEMBCrunner對模型進行基準測試的步驟。安裝microTVMPython依賴項TV...TVM深度學習編譯框架機器學習加速芯片寫給開發者的“Vibe coding”提示詞編寫指南
原創 精華編者按：如何有效利用大語言模型（LLMs）生成高質量代碼？這是當下開發者們比較關心的一個問題。在生成代碼的過程中，提示詞的設計是否精確，直接決定了模型輸出的質量。本文深入探討了提示詞優化的12條策略，給出了清晰的操作指南和示范案例，讀者可以了解到如何通過精準編寫提示詞引導模型生成性能優越、符合實際需求的代碼。作者AyushThakurPotpie(https:github.compotpieaipotpie)編譯岳揚大語言模型（LLMs）已經徹底改變了...AILLM智能體開發框架Langgraph基礎流程和理論梳理
原創“智能體應該才是大模型應用的未來，它才是有可能實現真正人工智能的途徑”在大模型技術的應用過程中，智能體算是一個主要的技術方向；如果說把大模型比作人的大腦，那么智能體就是人的手和腳；大腦能夠思考，但具體的事情還是需要手和腳才能做。而Langgraph就是給大模型安裝手和腳的工具；而我們學習Langgraph主要就是基于它強大的功能邏輯。在傳統的人工智能應用開發中，包括Langchain框架，都是基于鏈式調用的方式，簡單來說...智能體Langgraph開發框架二次元專屬模型來了！B站開源首個動漫專用生成模型Index-AniSora
昨天，B站宣布開源其最新的動畫視頻生成模型——IndexAniSora，這是首個專為二次元風格視頻生成打造的AI模型，支持一鍵生成多種動漫風格視頻，包括番劇、國創、漫改、鬼畜等。B站團隊提出了一種統一的框架，專為動畫視頻生成設計，包含時空掩碼模塊，能夠執行圖像到視頻生成、幀插值和局部圖像引導動畫等任務。用戶僅需輸入一張靜態圖片或一段文字描述，模型即可通過“動態拆解重構”流程，生成流暢且風格統一的視頻。在技術實...ai動畫B站開源AniSora嗶哩嗶哩算家云租算力，到算家云Emu3：僅需下一令牌預測
原創摘要盡管下一令牌預測被視為通往通用人工智能的一條有前途的道路，但它在多模態任務中一直難以取得優異成績，目前多模態任務仍由擴散模型（如StableDiffusion）和組合方法（如CLIP與大語言模型相結合）主導。在本文中，我們介紹Emu3，這是一套全新的最先進的多模態模型，僅通過下一令牌預測進行訓練。通過將圖像、文本和視頻標記化到離散空間中，我們在多模態序列的混合數據上從頭開始訓練一個單一的Transformer。Emu3在生成和...Emu3通用人工智能VILA-U：融合視覺理解與生成的統一基礎模型（ICLR2025)
原創摘要VILAU是一個統一基礎模型，融合了視頻、圖像和語言的理解與生成能力。傳統的視覺語言模型（VLMs）在處理視覺內容的理解和生成任務時，使用獨立的模塊，這可能導致模塊間的不協調和模型復雜度的增加。相比之下，VILAU采用單一的自回歸下一個標記預測框架來處理這兩項任務，避免了使用如擴散模型等額外組件的需求。這種方法不僅簡化了模型結構，還在視覺語言理解和生成任務中取得了接近當前最優水平的性能。VILAU的成功主要歸...VILA-U統一基礎模型交錯場景圖用于文本和圖像生成評估（ICLR2025)
原創摘要許多現實世界中的用戶查詢（例如，“如何制作蛋炒飯？”）都能從能夠同時生成文本步驟和配套圖像的系統中受益，就像烹飪食譜一樣。旨在生成交錯文本和圖像的模型在確保這些模態內部和之間的一致性方面面臨挑戰。為了解決這些挑戰，我們提出了ISG，這是一個用于交錯文本圖像生成的綜合評估框架。ISG利用場景圖結構來捕捉文本和圖像塊之間的關系，在四個粒度級別上評估生成的結果：整體、結構、塊級別和圖像特定級別。這種多...交錯場景圖交錯圖像文本生成評估框架Mem0 推出王炸 MCP 工具 OpenMemory，實現不同 AI 應用之間記憶共享
原創 精華當下，多數AI助手和開發工具各自獨立運行，一旦會話結束，上下文就會消失，這嚴重影響了使用體驗和效率。而OpenMemoryMCP來了，它是一款開源工具，能夠解決AI工具記憶的痛點，并且實現不同工具之間共享上下文信息。比如，你可以通過OpenMemoryMCP用Claude規劃路線圖，再用Cursor執行任務，兩個工具之間可以共享上下文信息，讓數據得到延續。OpenMemoryMCP是一個由Mem0提供支持的本地內存設施，就像一個“記憶背包”，能讓您把記...MCPOpenMemoryAI應用RAG與MCP：LLMs的“左右手”，誰才是你的菜？
原創 精華在當今數字化時代，大型語言模型（LLMs）已經成為我們生活中不可或缺的一部分。從簡單的問答到復雜的任務處理，LLMs的應用場景越來越廣泛。然而，隨著技術的不斷發展，我們也在不斷探索如何更好地利用這些強大的工具。今天，我們就來深入探討一下MCP和RAG——這兩個在LLMs領域備受關注的技術，它們究竟是競爭對手，還是可以相互補充的伙伴呢？一、RAG：為LLMs注入新活力在LLMs的世界里，RAG（RetrievalAugmentedGeneration，檢...RAGMCPLLMsRime 開源新工具！Arcana 和 Rimecaster 讓語音 AI 更懂“人話”
原創在語音AI的世界里，我們常常被那些經過精心錄制、完美無瑕的聲音所包圍。然而，現實中的語音交流遠比這復雜得多。人們在日常對話中會帶有口音、語調、停頓，甚至會夾雜笑聲和呼吸聲。這些細微之處，恰恰構成了人類語言的獨特魅力。今天，我們要聊聊Rime這家致力于讓語音AI更貼近真實世界的公司，以及它們最新推出的兩款開源工具：Arcana和Rimecaster。一、Arcana：讓語音合成更有“人味兒”想象一下，當你在和智能語音助手交流...Rime開源ArcanaRimecaster
