「RAG技術通過在AI生成過程中引入外部知識檢索，從基礎的文檔查詢發展到多模態、MultiAgent體協同的智能架構，讓AI回答更準確、更全面」「核心組件」嵌入模型：將文本轉換為向量表示生成模型：負責最終的內容生成重排序模型：優化檢索結果的相關性向量數據庫：存儲和檢索向量化的內容提示模板：規范化的查詢處理模板AIAgent：智能決策和任務協調圖例1NaiveRAGNaiveRAG（RetrievalAugmentedGeneration）是最基礎的一種架構，用于...

"ChatGPT又崩了……""期末論文怎么辦？""工作報告還沒寫完啊！"這是昨天ChatGPT宕機4小時時，推特上此起彼伏的哀嚎。而就在24小時后，當我第一次通過攝像頭與ChatGPT"面對面"時，這種感覺，說實話，有點奇妙。Openai給我們帶來了一個重磅更新ChatGPT的實時視頻通話功能全量開放了。這個功能最讓人驚嘆的地方在于它的實時視覺理解能力。ChatGPT不僅能看到你，還能實時理解你的一舉一動。比如，你在鏡頭前展示一道數學題，它能立...

宇航員如何在火星上生存而無需谷歌搜索？太空、火星、外星人、太空任務……自從人類首次見證尼爾·阿姆斯特朗登上月球以來，所有關于太空探索的話題以及太空的隱藏秘密一直讓我們著迷。隨著技術的進步，我們的目光投向了火星殖民和深空探索。盡管太空探索的美麗吸引了無數電影的關注，但它也帶來了許多挑戰，其中一個關鍵挑戰是：在不依賴地球互聯網基礎設施的情況下獲取實時、可操作的信息。顯然，宇航員在太空中無法使用谷歌...

Anthropic剛剛發布了一篇瘋狂的新論文。ALIGNMENTFAKINGINLARGELANGUAGEMODELS。人工智能模型會“偽裝對齊”——在訓練期間假裝遵守訓練規則，但在部署后會恢復其原始行為！研究表明，Claude3Opus在訓練中有策略地遵守有害請求，以保持其無害行為。也就是說，模型并非簡單地隨機或無意識地做出反應，而是經過了類似人類的思考過程，并且其思考的目標是維持它原本“無害”的行為模式。舉個例子，模型可能會這樣“思考”：“我現...

在當今快速發展的科技領域，語音合成技術正逐漸成為連接人與機器的關鍵橋梁。隨著多模態大語言模型的不斷進步，語音合成系統的響應速度和實時性變得尤為重要。阿里巴巴集團的通義實驗室語音團隊推出的CosyVoice2.0，在繼承前代產品優勢的基礎上，進行了深度優化，旨在解決現有問題并提供更加出色的性能。一、項目概述CosyVoice2.0作為阿里巴巴通義實驗室精心打造的開源語音生成大模型的進階之作，是一款基于先進的監督離散語音...

嘿，大家好！這里是一個專注于AI智能體的頻道在a16z預測2025年的發展中，Agent占據了很重要的一個環節。昨天中金也發研報，表示看好Agent的發展趨勢。包括langchain發布的24年總結報告，Agent是持續保持增長的。所以25年，Agent或許值得期待？今天給家人們完全梳理一下Agent智能體的系統，作為Agent入門指南（超長超長）！這篇文章會幫你理清頭緒，明確地告訴你智能體到底是什么，以及它們是怎么工作的。我們會拆解智能體的關鍵...

大型語言模型（LLMs）降低了人工智能的門檻，使其觸手可及。但要開發成熟的的AI系統，我們經常要面對類型安全、依賴管理、錯誤處理等一系列挑戰。現在PydanticAI能夠解決這些問題，這是一個創新的Python框架，能夠簡化生產級AI智能體的開發。得益于Pydantic強大的類型系統，這個框架成為了開發者構建既可靠又易于維護的AI應用的理想工具。本文為大家分析PydanticAI框架的價值和功能，以及如何利用其來構建可靠的AI應用。1.Pydan...

論文鏈接:https:arxiv.orgpdf2412.13195git鏈接:https:github.comblurgyyCoMPaSS亮點直擊一個綜合的訓練框架CoMPaSS，顯著增強了T2I擴散模型的空間理解能力。一個系統化的數據引擎SCOP，通過施加原則性約束來識別和驗證圖像中對象對之間明確的空間關系，從而能夠策劃高質量的空間訓練數據。一個無參數模塊TENOR，進一步提高了任何架構的T2I擴散模型的空間理解能力，同時增加的計算開銷可以忽略不計。總結速覽解決的問題文本到圖...

摘要本文主要介紹2024年AI領域的發展，并展望2025年AI應用技術的發展趨勢。首先，文章回顧了2024年AI技術的迭代與突破，重點涵蓋了深度學習、大模型、算法創新和模型進化，尤其是大語言模型和多模態模型的迅猛發展。這些技術創新不僅提升了模型在理解和生成多任務、多模態內容的能力，也推動了AI在多個領域的應用。其次，本文分析了2024年AI應用的落地情況，探討了AI技術如何在行業中得到實際應用，特別是在醫療、自動駕駛和智...

01、概述在日常生活和工作中，你是否常因嘈雜的環境、重疊的對話或音視頻信號的混雜而感到溝通困難？無論是個人電話、專業會議還是內容創作，這些問題都在困擾著我們。雖然音頻技術日新月異，但許多現有方案在復雜場景中仍難以提供穩定且高質量的音頻體驗。因此，市場急需一套能夠應對這些挑戰并適應現代應用需求的語音處理框架，例如虛擬助手、視頻會議和創意媒體制作。清晰之聲，重塑溝通體驗為了解決這些痛點，阿里巴巴語音...

編輯伊風出品51CTO技術棧（微信號：blog51cto）AMD的旗艦AIGPU加速器，被曝軟件存在大量bug，幾乎無法用于訓練AI模型？！這事挺讓人意外的，因為它可是AMD用來阻擊霸主英偉達的一張王牌。去年12月，AMD在自家的“AdvancingAI”活動中，首次宣布推出了MI300X，其性能比英偉達的H100足足高出60%！圖片一年過去了，已經投產的AMDMI300X是否真有當時宣傳的那么強勁？技術分析公司SemiAnalysis發了一份真實、詳盡的報告，感覺太打臉...

01、概述隨著人工智能（AI）在我們日常生活中逐漸普及，它的應用領域也越來越廣泛。然而，在這一進程中，我們也面臨著一些技術障礙，尤其是在多模態理解（MultimodalUnderstanding）方面。多模態理解是指AI能夠同時處理和分析來自文本、語音、圖像等多種輸入形式的能力。盡管如今許多AI模型在這些領域取得了顯著進展，但它們依然存在一些亟待解決的問題，如計算資源需求龐大、延遲高、能效低以及數據隱私問題。尤其是依賴云端的...

01、概述在AI技術不斷發展的今天，代碼檢索這一領域迎來了新的突破。由VoyageAI團隊推出的Voyagecode3，作為一款專為代碼檢索任務設計的嵌入模型，不僅表現卓越，還大幅超越了當前的行業標桿，如OpenAIv3large和CodeSagelarge。這一進展不僅重新定義了代碼檢索技術的潛力，也為廣大開發者帶來了全新的解決方案。Voyagecode3的亮眼表現在代碼檢索任務中，Voyagecode3無疑是一個耀眼的明星。研究顯示，這款模型在238個代碼檢索數...

“我們要學會使用第三方的大模型平臺，而不是什么都從0開始”大模型從出現以來，其巨大的成本問題一直都是壓在很多企業頭上的一座山；但大模型作為一項基礎設施，理論上應該和現有的基礎設施相結合，比如說云計算平臺。根據云計算的思想，除了實現快速部署遷移以及龐大的網絡洪峰之外；其次最重要的一點就是提升資源的利用率；比如對很多公司來說，流量洪峰主要都集中在某些時間段，大部分時間的流量都比較平穩。因此，如果按照...

1.Token在繼續前行之前，需要先停下來澄清下Token這個詞，以及如何將原始的語料轉化為Token，在細究背后的原理之后會更加優雅的理解大模型。任何的資訊都可以生成語料，而這些語料需要被機器理解以及供后續的模型訓練，那么最常見的做法是將一段文字先切片，然后一一對應的轉化為數字或者向量輸入模型。通常而言有三種類型的分詞法：基于單詞、字符以及子詞的分詞法。單詞和字符這里就不解釋，字詞法運用得最為廣泛，也是最為主...

大家好，我是劉聰NLP。沒錯，是的，對的，很棒，千問！QWQ之后，千問團隊又開源了視覺推理大模型QVQ，是72B的呦。圣誕快樂，如期而至！HF:https:huggingface.coQwenQVQ72BPreview為啥是72B，可想而知，這個QVQ就是基于前一段時間開源的Qwen2VL72B模型上進一步訓練得來的。有個7B的為啥沒出QVQ7B，估計是參數來太少，做o1式推理效果不行，QWQ也是32B起步的，所以模型參數量很關鍵。在榜單上的效果，QVQ在MMMU是突破了70，并且整...

1.為什么要提出RARE問答（QA，QuestionAnswering）系統的目的以自然語言提出的問題生成答案，其涵蓋的領域和類型極為廣泛，從開放領域的QA到更為專業的領域，比如醫療QA。醫療QA要求模型能夠掌握復雜的醫學知識、解讀臨床場景，并選出正確且符合上下文的選項。和多數專業領域的QA類似，醫療QA也需要結構化的多步驟推理，從一系列連續的步驟中推理出答案。比如，依據患者信息給出恰當的初始治療方案，模型首先要識別患者的狀況，...

一、背景在之前的多篇文章中，我們曾零星提到過GPU利用率以及GPU異常引發的大規模任務失敗問題。在本文中，我們將對這些內容進行更為系統的匯總，具體介紹常見的GPU監控指標及各種GPU異常情況。為了更好地說明問題，我們還將結合我們自己的實踐經驗以及其他相關論文中的案例進行分析和討論。二、引言2.1MFU&HFU為了評估LLM訓練時的效率，業界通常會使用ModelFLOPSUtilization（MFU）和HardwareFLOPSUtilization（HFU）兩個關鍵...

大模型領域的發展日新月異，每天都有許多有趣的論文值得深入品讀。下面是本期的論文：1、為什么Transformer難以學會搜索？一項新研究揭示關鍵原因圖片搜索是許多重要任務（如推理、規劃和導航）的核心能力，但最新研究表明，Transformer架構的大模型在搜索任務上表現不佳。那么，這是數據不足、模型參數不夠，還是Transformer架構本身的限制？為探究這一問題，研究者采用了一個基礎的圖連通性問題作為測試平臺，深入分析Transfo...

一、O3究竟是什么？1.名稱由來為避免版權糾紛，OpenAI放棄了o2的命名，直接將其稱為o3。圖片2.編程能力在編程領域，o3取得了驚人的成績。在人類在線編程競技平臺codeforces上，o3模型的Elo得分達到2727分，排名第175位。在168076名全球參賽程序員中，o3擊敗了99.9%的程序員，超越了此前的GPT4o和o1等模型。這意味著o3在編程競技中已達到頂尖水平，甚至超越了許多大廠中眾多程序員的實力。要知道，字節跳動、騰訊、阿里等大廠都...