準萬億參數模型訓練賽道，不止英偉達能跑了！華為突然放出核彈級技術報告——用6000塊昇騰NPU跑出7180億參數MoE大模型，直接把AI算力競賽拉進中國時間。華為此次突破的核心，在于構建了算法、框架、硬件深度協同的創新體系。面對MoE模型特有的負載均衡難題，團隊首創動態路由與靜態架構融合設計：通過細粒度專家與共享專家的混合架構，結合TP8×EP4超融合并行策略，既保證了模型表達能力，又避免了傳統MoE架構因專家資源分配不...

編輯伊風出品51CTO技術棧（微信號：blog51cto）自特朗普上臺以來，各種政策簡直一天一個變化。今天一覺醒來，居然刷到了“特朗普計劃撤銷AI芯片出口限制”的新聞！說實話，我第一反應就是——這不會是假消息吧？但消息來源不是小道傳言，而是彭博社的權威報道。可以說，這種出人意料的操作，確實很“特朗普”。圖片而且這次的動作不只是“撤銷”那么簡單，特朗普團隊打算徹底推翻拜登時代出臺的AI芯片出口管制體系，甚至重寫整...

文章：??https:arxiv.orgpdf2505.02831??代碼：https:github.comvvvvvjdySRA亮點直擊分析發現：文章深入分析diffusiontransformer的潛在表征趨勢，發現當只執行生成訓練時，其會擁有一個大致從粗糙到細致，從差到好的表征（判別）過程。方法提出：文章引入SRA方法，通過將早期層高噪聲條件下的潛在表征與后期層低噪聲條件下的潛在表征對齊，實現自我表征引導，提升diffusiontransforme的訓練速度和生成表現。實驗驗證：文章...

AI智能體正在徹底改變自動化領域，并增強各行各業的決策能力。然而，選擇一種合適的框架至關重要。AgentSDK、LangChain和CrewAI各自提供了構建智能化的獨特功能。AgentSDK專注于無縫的AI自動化，LangChain憑借大語言模型（LLM）擅長于智能體工作流程，而CrewAI支持多智能體協作。了解它們的差異有助于選擇最適合你需求的工具，無論是AI工作流程自動化、智能體集成還是定制AI開發。本指南將探討何時使用那種框架，以最大限度地提...

在《??多模態大模型輕量化探索視覺大模型SAM的視覺編碼器???》介紹到，縮小視覺編碼器的尺寸，能夠有效的降低多模態大模型的參數量。再來看一個整體的工作，從視覺側和語言模型側綜合考量模型參數量的平衡模式，進一步降低參數量，甚至最小達256M參數量，推理時顯存占用<1GB。下面來看看，僅供參考。模型架構SmolVLM架構。圖像被分割成子圖像，從視頻中采樣幀，然后編碼成視覺特征。這些特征首先通過像素重排，然后通過MLP...

往期，筆者基于LLava的數據對齊訓練，搞了一個??Reyes?多模態大模型，并且看了些多模態大模型，相關開源的多模態大模型如：KimiVL、Internvl、QwenVL等，其視覺編碼器的尺寸都比較大，如：MoonViTSO400M、InternViT6B448pxV25等都非常大，對于特定的垂直場景（或者是端側落地都不大友好），也許并不需要這么大視覺編碼器。如：表格場景（??【多模態&文檔智能】一次多模態大模型表格識別解析探索小實踐記錄???），當時筆...

MRAG1.0MRAG1.0是MRAG框架的初始階段，通常被稱為“偽MRAG”。它是對RAG范式的簡單擴展，支持多模態數據。MRAG1.0通過利用現有的基于文本的檢索和生成機制，實現了從RAG到MRAG的平穩過渡。MRAG1.0的架構MRAG1.0的架構包括三個關鍵組件：文檔解析和索引：源：多模GraphRAG初探：文檔智能+知識圖譜+大模型結合范式，https:mp.weixin.qq.comscoMc5jNPJldPk9X74tDAbAa.使用《??文檔智能解析技術??》處理多模態文檔（如Word、Exc...

“影響大模型能力的因素有很多，但我們需要具體問題具體分析，不能希望一個技術解決所有問題。”在人工智能應用場景中，可以說大模型扮演著至關重要的角色，因為大模型是人工智能應用的基座；因此這里就涉及到一個很重要的概念——大模型的能力。即大模型的能力范圍有多大，也就是大模型的能力圈；所以，這里就提出一個問題，大模型的能力是由哪些因素決定的？也可以說怎么提升大模型的能力？而提示詞能提升大模型的能力嗎？大...

4k分辨率的視覺預訓練：PS3Paper:??https:arxiv.orgabs2503.19903??Demo:??https:huggingface.cospacesbfshiVILAHDdemo??在之前介紹的高分辨率VLM系列中，我們見證了視覺語言模型，視覺編碼器逐漸從224384的固定低分辨率，通過動態切圖原生動態分辨率方法，逐漸走向了動態的高分辨率圖像輸入。想必對于讀過該系列的讀者，高分辨率在視覺領域的的重要性不用多說。英偉達團隊將視覺預訓練擴展到了4k分辨率，提出了方法PS3...

LangPipe介紹LangPipe是一個輕量級的大模型工作流應用框架LangPipe，可以輕松解決下面各種問題：textgeneration（文本生成）chatwithLLM（與LLM對話）taskclassification（任務分類）parametersextraction（關鍵參數提取）RAGbasedonWebSearch（基于搜索的RAG）RAGbasedonSQL（基于數據庫的RAG）RAGbasedonVector（基于知識庫的RAG）ChattoDB（數據庫對話）ChattoWeb（網頁對話）ChattoKnowledgeBase（知識庫對話）LangPipe倉庫...

前言去年以來，以Cursor為代表的AI編程工具橫空出世，徹底點燃了全球開發者對AI輔助編程的熱情。海外各種新穎的AI開發工具層出不窮，幾乎每周都有新的概念或產品涌現。反觀國內，除了幾家互聯網大廠有所布局，專注于AI編程工具的初創公司似乎相對較少。這固然有國內大模型編程能力仍在追趕的原因，但或許也有一部分原因是，很多人覺得構建一個AI編程工具，特別是具備復雜交互和能力的“智能體（Agent）”，門檻很高，非常復雜。...

主要來說，FunctionCalling的訓練主要涉及數據構造、模型架構適配、多階段微調等關鍵環節。主要開源方案可以參考Llama3.1或者QwenAgent，基本上在Llama3的技術報告（https:arxiv.orgpdf2407.21783）中就可以知道FunctionCalling的實現路徑。以下是Llama3的技術報告里面如何用二階段訓練來提升FunctionCalling的準確性。一、數據預處理Llama3設計了一套多階段數據篩選策略，通過質量評估與內容優化提升訓練數據價值：1.主題分級...

光子技術（Photonics）在數據中心AI加速中扮演著日益重要的角色。光學組件的全球市場規模已相當可觀，去年收入達170億美元。歷史上，電信領域（如海底光纜和光纖到戶）主導了需求。然而，如今數據通信領域，尤其是AI驅動的數據中心，已占據市場超60%的份額。這一轉變正在加速光學技術的增長。為匹配AI計算集群（包括GPU和定制加速器在內的xPU）不斷提升的性能，光學傳輸速率正迅速提高。圖1：光學組件市場歷史與預測。來源：OMD...

Cursor老大扔了個話：AI每天生成10億行被接受的代碼，人類世界一天也就寫那么幾十億行。還給了目前最受歡迎的模型和使用頻率增長最快的模型社區：“牛”、“軟件行業的改變”、“對新手簡直福音”。有人已經開始暢想未來：程序員角色會更像架構師+QA，整個市場都被激活了。瓶頸要從寫代碼變成審代碼了(Amdahl定律yyds)。求Cursor加個編輯歷史上下文，讓AI更好地審PR。說到怎么用好Cursor，特別是應付復雜的代碼。Cursor官方專門...

隨著語音助手、會議轉寫、實時翻譯等音頻處理應用的普及，市場對輕量級、高性能的音頻模型的需求日益增長。傳統的音頻處理模型往往面臨參數龐大、計算資源消耗高、難以實時處理長音頻等問題。為了解決這些挑戰，LMMsLab團隊推出了一款名為Aero1Audio的輕量級音頻模型。該模型不僅在參數規模上實現了高效性，還在多個音頻處理任務中表現出色，尤其是在長音頻處理和語音識別方面。一、項目概述Aero1Audio是由LMMsLab開發的一款緊...

在人工智能和機器人技術迅速發展的當下，機器人在復雜環境中的任務規劃與決策能力顯得尤為重要。然而，現有的許多機器人系統在處理復雜任務時往往面臨推理效率低下、決策不準確等問題。為了解決這一挑戰，中科視語推出了LightPlanner，這是一個開源的輕量化具身推理大模型，旨在提升機器人在復雜任務中的推理和決策能力。本文將深入探討LightPlanner的項目背景、技術原理、功能特點、應用場景以及如何快速上手使用，幫助讀者全...

引言可重復性是科學進步的基石，然而在機器學習領域，許多已發表論文并未附帶相應的代碼實現，阻礙了結果驗證并延緩了科研進程。為了解決這一難題，KAIST與DeepAuto.ai的研究團隊提出了PaperCoder——一種自動化框架，能夠從機器學習研究論文中直接生成可執行的代碼庫。PaperCoder框架概述圖1：PaperCoder的三階段流程，展示了如何通過規劃、分析和編碼，將論文轉換為完整的代碼庫。相比于依賴現有代碼片段或API的傳統方案，Pap...

簡介學術寫作對人工智能系統提出了獨特的挑戰，尤其是在準確且在上下文中適當整合引文方面。雖然大型語言模型（LLM）可以生成流暢的學術文本，但它們經常遭受引文幻覺——捏造或錯誤歸屬參考文獻——這嚴重限制了它們在學術環境中的用途。論文“ScholarCopilot：訓練大型語言模型以使用精確引文進行學術寫作”介紹了一種旨在解決這些局限性的新型框架。ScholarCopilot由滑鐵盧大學、卡內基梅隆大學和Vector研究所的研究人員開發...

昨天，谷歌突然提前甩出「Gemini2.5ProIO版」，直接把原定大會的王牌模型掏出來了。它在WebDevArena排行榜上排名第一，以1420分碾壓Claude3.7Sonnet。Gemini2.5ProPreview0506的主要功能：1.大幅提升前端UI開發能力Gemini2.5ProPreview0506提供了強大的功能，特別是對于Web前端開發。現在，用戶可以從設計文件中獲取精確的樣式屬性，如顏色、字體、填充、邊距、邊框等，并生成必要的CSS代碼。2.改進的代碼轉換和編輯功能代碼轉...

編輯伊風出品51CTO技術棧（微信號：blog51cto）JetBrainsAIAssistant又翻車了，這次是刪評論。作為JetBrains家族的“AI門面擔當”，JetBrainsAIAssistant自2023年7月發布以來，一直飽受開發者吐槽：功能雞肋、集成過深、無法卸載。但真正把這款產品送上風口浪尖的，是JetBrains本周在自家論壇里的一波“夜間行動”——悄悄刪差評。JetBrains，總部位于捷克的老牌軟件公司，旗下開發工具如IntelliJIDEA、PyCharm擁有龐大用戶基礎...