AI.x社區
- 登錄/注冊
mR^2AG：基于知識的多模態檢索-反思增強生成方法淺嘗
（a1）mR2AG帶檢索：這個過程包括：a）檢索反思，用于確定是否需要檢索；b）相關性反思，用于識別證據段落；c）對多個候選答案進行后處理。（a2）mR2AG不帶檢索：當不需要檢索時的生成過程。（b）無反思的樸素mRAG：一種沒有反思的基線方法。在基于知識的視覺問答（KnowledgebasedVQA）任務中，輸入通常是一對圖像和問題，并且依賴于可訪問的知識庫。文章提出的框架通過兩個新穎的反思操作來解耦生成過程，從而提高答案的質量。...RAG多模態LLM對于行業術語出現幻覺怎么解？快來試試Golden Retriever 指代消歧
原創 精華今天來分享一篇深度好文：《GoldenRetriever:HighFidelityAgenticRetrievalAugmentedGenerationforIndustrialKnowledgeBase》，我們知道企業落地RAG系統有以下常見痛點：技術公司維護著大量的專有文檔，如培訓材料、設計文檔和研究成果。工程師，尤其是新員工，需要快速查詢這些文檔或吸收其中的新知識。這些領域特定的文檔通常包含許多技術社區特有的縮寫和術語，使得導航變得復雜。而這篇文章提出了一個概念：GoldenRetriever...LLM對于Advanced RAG系統你不得不知道的三個階段優化技巧
原創我閱讀了一篇有關"AdvancedRAG"的論文，在閱讀這篇論文后，我發現其中的一些概念和技術具有很高的實用價值。接下來，我將結合我在公司的實踐經驗，分享以下RAG系統的三個階段的優化：預檢索和數據索引技術檢索技術檢索后處理預檢索和數據索引技術使?LLM增加信息密度如果來?異構數據源（例如PDF、抓取的?絡數據、?頻記錄）的?結構化數據沒有經過特定處理，信息密度比較低下，包含不相關的信息和或噪?，或者有很多信息重復...Advanced RAGRAG16幀1024×1024視頻耗時僅16秒！64倍壓縮助力高效視頻生成：復旦&微軟發布Reducio-DiT
文章鏈接：https:arxiv.orgpdf2411.13552項目鏈接：https:github.commicrosoftReducioVAE亮點直擊將視頻編碼為極少量的運動隱變量和一個內容圖像，其中設計的ReducioVAE可以將視頻壓縮到比常見的二維VAE小64倍的隱變量空間。基于ReducioVAE，通過結合額外的圖像條件設計了一個名為ReducioDiT的擴散模型。實驗表明，ReducioDiT可以顯著加速生成過程，同時生成高質量的視頻。總結速覽解決的問題商用視頻生成模型雖然能生成逼真的...視頻生成AI成本降低1000倍！微軟將開源超強RAG— LazyGraphRAG
今年7月，微軟首次開源了超大知識索引GraphRAG，僅4個多月的時間在Github已超過19000顆星，成為目前最火的RAG框架之一。但GraphRAG在處理全局數據查詢時成本非常高，尤其是應用在那些大參數的AI模型中格外明顯，查詢的過程中也存在延遲、不準確等問題。今天凌晨，微軟研究院發布了GraphRAG迭代版本——LazyGraphRAG。這個RAG的最大亮點之一就是成本非常低，數據索引成本只有完整版GraphRAG的0.1%，同時采用了全新混合數據搜索方...微軟開源AI時代必備技能！AI大神吳恩達教你如何寫出完美的prompt提示詞
原創作為一名資深博主和GraphRAG的貢獻者之一，我最近深入探索了GraphRAG的源代碼并提交了一些pr。在這個過程中，我發現prompt在知識圖譜的生成以及最終問答效果方面起著決定性的影響。因此，我決定專門花時間來整理關于prompt提示的內容。這篇文章的主要參考是AI大師吳恩達的prompt提示工程總結。我們將會討論如何正確使用ChatGPT，它所具有的常規能力等內容。值得注意的是，雖然任何人都可以編寫prompt，但要編寫出高效的prompt，...AI提示詞ChatGPT對抗生成網絡GAN
原創 精華前言在前一階段課程中，我們學習了圖像分割中的語義分割、實例分割、旋轉目標檢測等。這些圖像分割算法都是有監督學習，而GAN（生成對抗網絡）是一種特別的學習策略，其核心思想非常值得借鑒，所以本章將以GAN網絡的代碼為切入口，了解掌握其核心思想。學習策略人工智能方面的學習策略有兩種：有監督學習和無監督學習。有監督學習定義：有監督學習是使用帶標簽的數據集進行訓練。每個輸入數據都有對應的輸出標簽，模型通過學習...生成對抗網絡GAN基于Agent的金融問答系統：RAG的檢索增強之ElasticSearch
原創前言本章內容，我們將在已經構建的agent框架基礎上，優化檢索器，為檢索器搭建ElasticSearch服務，實現問答系統的檢索增強。檢索問題通過測試天池大賽數據集的前100個問題，我們發現有很多問題RAG檢索不到，例如：?{"id":34,"question":"根據武漢興圖新科電子股份有限公司招股意向書，電子信息行業的上游涉及哪些企業？"}通過查看日志，檢索器沒有檢索到相關信息：優化方案分析上述case原因，檢索器太過簡單所致。classSimpleR...AgentRAG如何在組織中啟用機器學習
原創構建機器學習產品需要不同類型的技能和流程，而這些技能和流程需要逐步被吸納并融入組織的日常運作中。計劃在組織內部引入人工智能機器學習的產品經理通常會提出這樣一個問題：“我從哪里開始著手？”對于缺乏該領域經驗的組織來說，深入研究人工智能機器學習可能會讓人感到不知所措。構建機器學習產品需要不同類型的技能和流程，而這些技能和流程需要逐步被吸納并融入組織的日常運作中。事實表明，成功的關鍵在于從小處著手，...機器學習人工智能大型語言模型DeepSeek首發國產類o1模型！人人可以免費使用！
20日晚8點，DeepSeek在自己官方公眾號上放出了一個大殺器：全新自研的DeepSeekR1Lite預覽版正式上線。據介紹，DeepSeekR1系列模型使用強化學習訓練，推理過程包含大量反思和驗證，思維鏈長度可達數萬字。該系列模型在數學、代碼以及各種復雜邏輯推理任務上，取得了媲美o1preview的推理效果，并為用戶展現了o1沒有公開的完整思考過程。圖片等不及看下文的朋友，大家可以自行登錄DeepSeek官網（chat.deepseek.com），前往體驗與國...DeepSeeko1模型Suno AI v4：音樂創作人的飯碗正逐漸被提示詞所取代
近日，AI音樂生成平臺Suno正式發布了其第四代模型——Sunov4。本次升級在音質、歌詞精準度和歌曲結構等方面都有顯著提升，標志著AI音樂創作邁入了一個新的篇章。Sunov4利用深度學習技術，基于大量音樂數據進行訓練，生成更加自然、豐富的音樂作品。與之前的版本相比，v4提供了更清晰的音頻、更銳利的歌詞以及更具動感的作品。此外，新模型能夠生成多種風格的音樂，滿足不同聽眾的需求，提供豐富多樣的曲風。相比之下，Sunov3雖...AI提示詞SunoGPT-4和GPT-4V能否像人類一樣進行抽象推理
有關類似GPT4這樣的大型語言模型（LLM）是否真正模擬人類邏輯和推理的辯論正在進行中。一些研究人員認為，隨著規模的擴大，LLM可能會發展出對抽象推理、模式識別和類比制作的新能力。另一方面，一些人認為促使這些能力的內部機制尚未被解釋清楚。一些實驗證明，這些模型在其訓練數據范圍之外難以推廣。"在創建和推理抽象表示方面的能力對于強大的泛化至關重要，因此有必要了解LLM在這方面已經取得了多大的能力，"圣塔菲研究所的...GPT-4GPT-4V性能微軟發布Mora視頻模型，吊打Sora？
微軟與理海大學合作開發的多智能體視頻生成框架Mora，近日正式亮相，標志著人工智能在視頻創造領域的一次重大突破。Mora的問世不僅是對閉源的Sora模型的成功復現和擴展，更是向我們展示了AI技術向“去中心化”發展的可能性，為未來的AI系統架構、管理和倫理問題的討論打開了新的篇章。體驗網址：https:github.comlichaosunMoraMora框架的核心是整合了多個先進視覺AI智能體，模擬了Sora展現的通用視頻生成能力，包括文本到視頻生...微軟Mora視頻AI 賦能量子計算突破
?一、量子計算薛定諤的愛情與狄拉克的996一文中筆者帶大家領略了量子力學的魅力，并簡單探討了量子計算（QC:QuantumComputing）。QC處于技術創新的最前沿，業界期待其解決傳統計算平臺無法有效解決的復雜問題，特別是突破當下AI大模型遇到的算力瓶頸。另一方面，新的大模型機理具備更高維度的新穎性，可以通過揭示隱藏的聯系建立更廣泛有用的創新框架，成為科學和哲學探索的有力工具，包括QC。二、AI賦能QC牛津大學、NVIDIA、...AIQC驅動如何進行高效的LLM分布式推理
1.背景這次指的大型語言模型（LLMs）主要說的是采用Transformers架構的模型，該架構在訓練階段具有高度的并行性。然而，在實際應用中，高效地部署這些模型面臨一些挑戰。這是因為生成推理是逐個token進行的，而每個token的計算都依賴于先前生成的標記。因此，支持大規模訓練的模型需要仔細考慮并行布局和內存優化，以實現所需的可擴展性和高效的低延遲推理。從而更好地支持大規模訓練的模型在實際應用中實現高效的低延遲推理，...LLM分布式MQA關于自適應模態分解方法
依據基本原理、分解過程和分解特性，可以將自適應模式分解方法分為三類，分別是基于時域局部特征、基于頻譜分割和基于時變濾波的信號分解方法。基于時域局部特征的多分量信號分解方法基于時域局部特征的多分量信號分解方法，依據信號特征自適應地將多分量信號分解為一組分量，為多分量信號的進一步分析提供了便利。對于分解到的分量，一方面可以運用：Hilbert變換、能量算子、歸一化Hilbert變換、經驗調幅調頻分析、廣義過零點...自適應模態Hilbert變換一夜小模型王座易主！英偉達發布超強小模型，性能、速率、緩存全面超越Llama3.2！
原創編輯｜言征小模型王座一夜易主了！冷不防，英偉達就丟出了一個新混合架構，以后不再只是Transformer的天下了。日前，NVIDIA剛剛發布了Hymba1.5BBase，這是一個將Transformer注意力機制與狀態空間模型（SSM）集成的小型語言模型。這種全新的混合架構只使用1.5T的Tokens進行訓練，性能、速度卻全面超越了市面上主流的所有小模型！英偉達的科學家兼研究經理PavloMolchanov在X上宣布了這一最新發展。圖片HuggingFace的技術負責人及...Llama3.2！人工智能模型超Gemini-1.5-pro 9.5%！字節&上交&北大開源StoryTeller：生成一致性高的長視頻描述
文章鏈接：https:arxiv.orgpdf2411.07076數據集&代碼：https:github.comhyc2026StoryTeller亮點直擊引入音畫角色識別任務：提出了音畫角色識別任務，通過整合視覺、音頻和文本信息，實現對白與角色的精準匹配，從而解決長視頻描述中的一致性挑戰，包括角色描述和故事邏輯連貫性。StoryTeller系統創新:開發了StoryTeller系統，包含視頻分割模塊、音畫角色識別模塊和身份感知的描述生成模塊，生成密集且一致性高的長視頻描述，兼...模型AI從 Llama 1 到 3.1：Llama 模型架構演進詳解
原創編者按：面對Llama模型家族的持續更新，您是否想要了解它們之間的關鍵區別和實際性能表現？本文將探討Llama系列模型的架構演變，梳理了Llama模型從1.0到3.1的完整演進歷程，深入剖析了每個版本的技術創新，還通過實際實驗對比了Llama2和Llama3在推理速度、答案長度和相對答案質量（RAQ）等關鍵指標上的表現差異。根據本文，Llama模型的架構演變主要經歷了以下三個階段：Llama1：基于原始Transformer架構，引入了預歸一化、RMSNo...LLMLlama基于Agent的金融問答系統：代碼重構
原創前言在上一章??【項目實戰】基于Agent的金融問答系統：前后端流程打通??，我們已經完成了金融問答系統的前后端搭建，形成了可用的Demo。本章，我們將介紹代碼重構的過程，并介紹一些優化點。代碼重構簡介在開啟本章介紹之前，請允許我花點時間啰嗦兩句，聊一聊代碼重構的哪些事兒。在過去經歷的項目中，代碼重構很少被人重視。看著像??一樣的代碼(抱歉爆粗口，我所經歷的一些項目包括我自己曾經寫的代碼，回看確實像??一樣)...Agent代碼重構
