基于視覺編碼器的MLLM的基本構成：MLLM通常由預訓練的模態編碼器、預訓練的LLM和一個連接它們的模態接口三個模塊組成。模態編碼器(如：CLIPViT視覺編碼器、Whisper音頻編碼器等)將原始信息（如圖像或音頻）壓縮成更緊湊的表示。預訓練的LLM則負責理解和推理處理過的信號。模態接口用于對齊不同的模態，實現異構模態表征空間的語義對齊。下面這張圖概括的比較好。上述工作都是基于視覺編碼器的多模態大模型，下面來看一個Encoder...

在社交聊天中，表情包早已成為不可或缺的表達工具。一套風格獨特、生動有趣的系列動態表情包，不僅能讓你的聊天更加活潑，還能彰顯個人風格。但很多人覺得制作表情包門檻高、耗時長，其實，只要掌握正確方法，借助合適工具，制作過程可以輕松又高效。今天就帶大家了解如何用豆包、即夢AI和剪映，在10分鐘內完成系列動態表情包的制作。一、生成表情包文字（豆包AI）1.輸入提示詞打開豆包AI，輸入類似提示詞："我需要制作一套動態...

下面我們來看一個用RAG的思路構建文檔級別知識圖譜構建框架思路，這個思路要解決的問題是如何自動構建文檔級別的知識圖譜。傳統的知識圖譜構建方法面臨長文本處理中的長距離遺忘問題、復雜實體消歧、跨文檔知識整合不足的問題。整體思路可以參考下。方法上圖的流程：RAKG框架通過句子分割和向量化處理文檔，提取初步實體，并執行實體消歧和向量化。處理后的實體經過語料庫回顧檢索以獲取相關文本和圖結構檢索以獲取相關知識圖譜...

在動漫二創熱潮席卷全網的當下，哪吒這一經典IP憑借獨特魅力始終占據流量高地。但很多人想創作哪吒主題短片，卻苦于沒有繪畫技能和專業知識。別焦慮！如今借助AI工具，零基礎也能完成從腳本構思到成片輸出的全流程制作。今天就為你揭秘如何用AI輕松打造爆款哪吒主題視頻作品，讓你的創意快速落地！核心工具組合方案一：多工具協作腳本生成：DeepSeekR1或豆包AI圖片生成：哩布哩布AI或可靈AI視頻生成：可靈AI或海螺AI剪輯合成：...

每一張老照片都是時光的標本，承載著珍貴的回憶。但歲月無情，照片難免出現破損、褪色、模糊等問題，讓記憶變得殘缺。如今，借助強大的AI工具，修復老照片不再是難事！只需三步，就能讓破損的老照片重新煥發生機，將那些模糊的過往清晰重現。修復老照片全流程第1步：修復破損即夢AI：適合新手用戶，操作簡單，效果自然上傳照片后選擇「智能參考」功能輸入關鍵詞如"去掉折痕污漬劃痕"手機端和網頁端均免費，每日贈送積分ComfyUI...

AI漫畫視頻早已突破傳統創作邊界，廣泛應用于多元場景。無論是小說創作者希望通過動態漫畫形式推廣作品（或小說推文），還是自媒體人尋求吸睛的視頻內容，抑或是品牌方為了以新穎方式傳播理念，AI漫畫視頻都能大顯身手。現在，即使你沒有繪畫基礎，也能借助AI技術創建連貫且高質量的漫畫視頻系列。AI漫畫視頻最重要的是保持人物角色的一致性。制作指南概要角色一致性通過參考圖、參數鎖定和連貫生成技術，確保角色在不同場景中...

如果有人問目前最火的基礎模型是啥？那我一定回答是Transformer模型。Transformer模型自2017年提出以來，一直深受大家喜歡，其架構主要分為三種變體：DecoderOnly、EncoderOnly和EncoderDecoder，每種變體都有其獨特的特點和應用場景。一、僅編碼器架構（Encoderonly）1.1工作流程僅編碼器架構的工作流程如下：嵌入層處理：對輸入文本的每個單詞或標記進行處理。將每個單詞或標記映射到一個固定維度的向量空間中，形成初始的詞...

最近，根據路透社等外媒報道，特朗普團隊計劃取消拜登時期所制定的AI芯片出口的限制，并對其重新調改。就在當天，相關消息發布后，英偉達等企業的股價也有所上漲。拜登時期的AI擴散規則是在去年12月提出，并計劃于2025年5月15日生效。該規則的主要目的是為了防止先進芯片流入中國。拜登政府當時規劃了一個國家分級清單:第一層級：可以不受限制地獲取美國芯片；第二層級：大多數國家處在第二層級，每年有采購上限；第三層級：部...

下面來看一個新的RAG框架VDocRAG，用于解決視覺文檔問答問題。視覺文檔問答概述OpenDocVQA任務的目標是給定一個文檔圖像集合和一個問題，通過找到相關的文檔圖像來輸出答案。任務分為兩個階段：視覺文檔檢索（VisualDocumentRetrieval）：文檔視覺問答（DocumentVQA）：方法架構VDocRAG由兩個主要組件組成：VDocRetriever和VDocGenerator，下面來看看這兩個組件。VDocRetriever（檢索器）VDocRetriever基于LVLM的雙編碼器架構，...

摘要6G無線通信旨在構建一個無處不在的智能互聯世界，提供前所未有的通信體驗。與傳統人工智能（AI）模型相比，大語言模型（LAM）的顯著特點是規模巨大（例如，擁有數十億甚至數萬億個參數）。大語言模型展現出卓越的認知能力，包括對下游任務進行微調的強大泛化能力，以及處理訓練過程中未遇到任務的涌現能力。因此，大語言模型能夠有效地為各種通信應用提供人工智能服務，成為應對未來無線通信系統中復雜挑戰的關鍵工具。本研...

摘要現有的感知模型通過從大量標記數據中學習取得了巨大成功，但在開放世界場景中仍存在困難。為緩解這一問題，研究人員引入開放集感知任務，以檢測或分割訓練集中未見過的對象。然而，這些模型在推理時需要預定義的對象類別作為輸入，而在現實場景中無法獲取這些類別。最近，研究人員提出了一個新的、更實際的問題，即開放式目標檢測，它在沒有任何對象類別作為輸入的情況下發現未見對象。在本文中，我們提出VLSAM，這是一個免...

“知識蒸餾技術是模型輕量化小型化的一種方式，其效果也遠超我們的想象”在深度學習領域模型的壓縮與部署是一項非常重要的研究課題，原因就在于模型巨大的成本和算力需求；因此，怎么把模型小型化就成為一個亟待解決的問題。因此，一項技術就被應用于模型小型化的過程，這個技術就叫做知識蒸餾，而我們平常說的比較多的是大模型蒸餾技術。當然，知識蒸餾技術并不是一項新技術，其在2015年就已經被諾貝爾獎獲得者——Hinton等人...

在數學推理（AIME2425）和代碼競賽（LiveCodeBenchv5）公開測評集上，MiMo僅用7B的參數規模，超越了OpenAI的閉源推理模型o1mini和阿里Qwen更大規模的開源推理模型QwQ32BPreview。預訓練預訓練階段對于MiMo7B模型至關重要，它為模型后續展現強大的推理能力奠定了堅實基礎。這一階段主要涵蓋了數據處理、模型架構設計以及超參數設置等關鍵環節，每個環節都經過精心優化，旨在增強模型的推理潛能。預訓練數據預訓練數據是模型學習...

今日分享一篇羅格斯大學團隊發現了大語言模型注意力機制的查詢(Q)和鍵(K)表示中存在非常集中的大值，并探討了這些極大值的應用以及來源,該研究已經被機器學習三大頂會之一ICML收錄.。這項研究揭示了大型語言模型中一個重要現象：在注意力機制的查詢(Q)和鍵(K)表示中存在集中的大值，而在值(V)表示中卻沒有這種模式。這一現象在使用旋轉位置編碼(RoPE)的現代Transformer模型中普遍存在。??四大核心發現1.極大值在Q和K中的特定...

隨著GenAI技術的突飛猛進，LLM的"幻覺"問題已成為業界關注焦點。最近，由Vectara發布了一份《幻覺排行榜》，對主流模型的幻覺表現進行了系統對比。量化展示了不同LLM的幻覺率差異采用Vectara自研的HHEM2.1評估模型為選型提供一個參考本排行榜使用Vectara的商業幻覺評估模型HHEM2.1，來計算LLM排名（更新于2025年4月29日）排行榜地址：??https:github.comvectarahallucinationleaderboardtabreadmeovfile????https:hugging...

本文將帶您了解大模型上下文協議(ModelContextProtocol,MCP)，并通過一個獲取實時天氣信息的實戰項目，手把手教您如何實現AI模型與外部工具的無縫交互。什么是ModelContextProtocol(MCP)ModelContextProtocol(MCP)是一種開放協議，專為大語言模型（如Claude、ChatGPT等）設計，允許這些模型與外部系統安全地交互。簡單來說，MCP提供了一種標準化的方式，讓AI模型能夠：?調用外部工具和API?訪問實時數據和信息?獲取環境上下文...

Agent的風刮得很大，但多數人可能沒抓住本質。簡單說，Agent就是模型+環境反饋+工具。模型大家熟悉，后兩者才是多數人忽略的重點，也是從“玩具”到“能干活的工具”的關鍵分野。早期的Agent像AutoGPT，更多是新奇。現在的Agent能解決實際問題，得益于模型進步，但更重要的是工程，特別是如何構建和利用“上下文(Context)”。上下文不是簡單喂數據，而是Agent完成任務所需一切信息的總和，關鍵在于這些信息如何被自動化地提煉和...

一、模態分解方法是否存在固有泄露？分解方法的全局性大多數模態分解方法（如VMD、EMD）需要完整的信號輸入進行分解，其本質是通過全局優化或迭代過程提取模態分量（IMF）。這意味著：如果直接在整個數據集（含未來測試數據）上分解，分解后的IMF會隱含未來信息。在訓練階段使用這些IMF訓練模型時，模型會間接“看到”未來數據，導致數據泄露。泄露的根源泄露并非來自分解方法本身，而是來自不合理的預處理流程。若分解步驟在數...

近年來，大語言模型和人工智能智能體技術發展迅猛，在自然語言處理、智能決策等眾多領域廣泛應用。然而，隨著技術的快速迭代，評估大語言模型的標準和方法不斷變化，智能體在各領域的應用也日益復雜和多樣化。但目前缺乏對這些技術全面且系統的梳理和總結，使得研究人員和從業者難以把握技術發展全貌和趨勢。本文通過對相關基準測試、智能體框架與應用的深入分析，不僅有助于明晰當前技術發展水平，發現存在的問題和挑戰，還能...

在大模型時代，盡管大型模型以其強大的數據處理和泛化能力備受矚目，但數據挖掘與機器學習技術依然在眾多領域展現著不可替代的重要性。這主要體現在數據預處理、特征工程、小數據集處理及行業特定問題的深入分析等方面。一、數據預處理的重要性數據預處理是數據挖掘與機器學習項目中不可或缺的一環，它包括數據清洗、數據集成、數據變換和數據規約等步驟。有效的數據預處理不僅能夠顯著提升模型的訓練效率，還能增強模型對數據...