AI.x社區
- 登錄/注冊
文檔截圖嵌入統一多模態檢索方法原理
原創本文單獨來看看檢索部分的多模態嵌入部分。（a）傳統方法；（b）本文方法局限性：現有的檢索范式缺乏跨模態的統一編碼過程，導致兩個問題：預處理工作繁瑣：需要專門的處理來應對各種文檔類型和內容模態，而這些處理往往不完美。例如，HTML文件由于其多樣的結構，復雜性較高，使得單一工具難以準確解析所有信息。同樣，ppt和PDF通常需要OCR模型來提取文本并分別處理其他內容類型，如表格和圖表。處理這些長尾問題較為復雜。破壞...多模態RAG從頻率到細節：ConsisID實現無縫身份一致的文本到視頻生成
文章鏈接:https:arxiv.orgabs2411.17440項目鏈接:https:pkuyuangroup.github.ioConsisID亮點直擊提出了ConsisID，一個基于DiT的免調優（tuningfree）身份保持IPT2V模型，通過頻率分解的控制信號來保持視頻主角的身份一致性。提出了一種分層訓練策略，包括粗到細的訓練過程、動態Mask損失（dynamicmaskloss）以及動態跨臉損失（dynamiccrossfaceloss），共同促進模型訓練并有效提升泛化能力。大量實驗表明，受益于我們的頻率感知...AI視頻生成OpenAI滿血o1深夜炸場！10秒搞定博士級難題！奧特曼重申：AI沒有墻！
原創出品51CTO技術棧（微信號：blog51cto）滿血o1這不就來了嗎？！OpenAI的“圣誕大禮包”第一天就眾望所歸！不到15分鐘的直播總結一下：發布了可以做多模態推理的滿血版o1以及200美元一月的ChatGPT大會員！圖片首場發布會，除了奧特曼以外，還有o1模型的帶頭人JasonWei和HyungWonChung等，介紹了o1預覽版發布后三個月后的提升。圖片毫無疑問，滿血o1讓人印象深刻！看跑分：滿血版o1無論在數學還是編程上，能力都又上了一個臺階。看...OpenAIo1AI【AI模型對比】AI新寵Kimi與ChatGPT的全面對比：技術、性能、應用全揭秘
隨著AI技術的不斷成熟，越來越多的AI模型涌現出來，滿足不同領域和用戶的需求。Kimi大模型和ChatGPT作為其中的佼佼者，憑借其強大的功能和廣泛的應用場景，吸引了大量用戶的關注和使用。然而，兩者在技術實現、應用領域以及性能表現上存在諸多差異，本文將通過詳細的對比分析，幫助讀者深入理解這兩款AI模型的獨特之處，進而做出最佳選擇。技術背景Kimi人工智能的技術積淀Kimi人工智能是一個國產AI項目，依托于國內強大的技術積...AI模型ChatGPT漫畫大模型簡史
時間的從1943年說起，沃倫·麥卡洛克（WarrenMcCulloch）和沃爾特·皮茨（WalterPitts）提出了人工神經元模型，也就是闕值邏輯單元（TLU），這是神經網絡研究的基礎。就是下面這兩位大神，意外的發現盡管相差25歲，竟然同一年去世...而Pitts竟然是一位非常非常i的人，i到哪怕給錢都不愿意讓別人知道名字的地步...而TLU長下面這樣：1950年：圖靈發表了《計算機器與智能》，提出了著名的“圖靈測試”，即如果一臺機器能在對話中讓...大模型GPT-3.5架構多模態RAG構建指南：為AI系統提供更多可能性
原創?本文提供了關于如何使用Milvus構建多模態RAG系統以及如何為AI系統開辟各種可能性的深入指南。局限于單一的數據格式已經逐漸落伍。隨著企業越來越依賴信息來做出關鍵決策，他們需要能夠比較不同格式的數據。幸運的是，傳統的限于單一數據類型的人工智能系統已經讓位于能夠理解和處理復雜信息的多模態（Multimodal）系統。??多模態搜索和多模態檢索增強生成（RAG）系統近年來在這一領域取得了很大進展。這些系統能夠處理多種...人工智能多模態RAG向量數據庫Llama 3.1 70B AQLM-PV版發布！大模型壓縮后可在24GB顯存GPU上本地運行！！
Llama3.170B參數模型無疑是一個非常優秀的模型。不僅是基準測試證明了這一點，現實世界中的應用也毫無疑問地證明了它的表現與封閉源的知名模型相媲美，比如OpenAI的GPT4、Anthropic的Claude和Google的GeminiPro。這也是為什么我看到有許多組織努力將這個70B參數的模型移植到普通GPU上，特別是那些顯存為24GB或以下的設備。在這篇文章中，我將向大家展示一個全新的微調模型，叫做MetaLlama3.170BInstruct，使用了AQLM。如果你還...Llama 3.1GPU顯存精通大型語言模型的準確性：如何測試、檢測和修復AI模型的幻覺
精華大語言模型（LLM）就像那個過于自信的朋友：聽起來權威滿滿，但偶爾會說些不靠譜的內容。在人工智能領域，我們將這種現象稱為“幻覺”（Hallucination）。當構建AI產品時，幻覺可能會將原本令人期待的用戶體驗變成令人沮喪的過程，甚至可能導致傳播錯誤信息。本文將引導你如何識別、測試和評估LLM中的幻覺，并提供清晰的流程、實用的技巧以及工具（包括一些有趣的代碼示例），幫助你控制AI的“創造力”。什么是LLM中的幻覺？幻...語言模型AIOpenAI VS Deepmind：年度最大AI對決！
OpenAI和Deepmind在pk了？紅方：openai從明天開始“OpenAI的12天”，每天都會有直播活動，展示新產品和演示。目前社區猜測可能發布的產品，如O1full、Sora視頻模型和GPT4.5。openai挖走了deepmind的3名高級工程師，他們在視覺方面的研究，目前落后于最近的SOTA視覺方法，像ViT、SigLIP、PaliGemma這些開源模型，開始搶人大戰。藍方：deepmindGenCast天氣模型代碼和模型開源，GoogleDeepMind在《自然》雜志上發布了一個AI天氣預...OpenAIDeepmindAIReal-Time Voice Cloning：5 秒解鎖聲音克隆，憑啥斬獲 52.9k Stars？
精華如今，人工智能發展勢頭迅猛，新技術、新應用如雨后春筍般不斷涌現。在這片科技浪潮里，語音克隆技術格外亮眼，就像一顆閃閃發光的寶石，正一點點改變著我們生活中和聲音有關的方方面面，不管是影視配音、語言學習輔助，還是智能語音交互，它都有用武之地。今天，咱們就一起好好探究下一款很有代表性的實時語音克隆工具——RealTimeVoiceCloning。一、RealTimeVoiceCloning簡介CorentinJ的RealTimeVoiceCloning項目是一個開創性...聲音克隆語音大語言模型評測中的評價指標：方法、基準和最佳實踐
無論是通過微調提高模型準確性，還是增強基于檢索的生成（RAG）系統的上下文相關性，對于任何希望構建魯棒的大語言模型（LLM）應用的人來說，評估LLM輸出都是至關重要的。但對許多人而言，LLM評估仍然是一項具有挑戰性的任務。了解如何為你的用例開發和選擇合適的LLM評估指標集，對于構建一個魯棒的LLM評估系統至關重要。本文將教你關于LLM評估指標需要了解的一切，包含代碼示例。我們將深入探討：什么是LLM評估指標，如何使用...大語言模型LLM一篇RAG噪聲分析的綜述
嘿，大家好！這里是一個專注于AI智能體的頻道！今天分享一個針對RAG噪聲的綜述，中文標題為：潘多拉魔盒還是阿拉丁神燈：揭示RAG噪聲在大型語言模型中作用的綜合分析Pandora’sBoxorAladdin’sLamp:AComprehensiveAnalysisRevealingtheRoleofRAGNoiseinLargeLanguageModels檢索增強生成（RAG）已成為解決大型語言模型（LLMs）幻覺問題的關鍵方法。盡管近期研究已將RAG模型擴展到復雜的噪聲場景中，但這些探索往往局限于有限的噪...RAG噪聲模型AI大模型實踐之字節0-1智能客服
原創之前朋友做過的智能客服項目，今天整理脫敏出來幫大家做一個項目參考，整個工作流已經細分好，大家跟著自己實操做一遍，完善并且補充自己的項目經歷，提高簡歷的含金量和通過率！?需求分析：隨著TiDB和TiDBCloud用戶的增長，支持人員數量不足，超過50%的用戶問題可在官方文檔中找到答案，但文檔內容繁多，用戶難以找到所需信息，因此需要構建集成官方文檔知識的機器人。??了解LLM的能力與限制：能力：包括理解語義、邏輯推理、...AI大模型大模型長文本所面臨的主要問題
原創?“大模型上下文窗口的根本問題，是大模型的記憶問題”在上一篇文章中主要介紹了大模型的上下文窗口，以及其與RAG技術的關系與區別；而事實上，大模型上下文窗口面臨著更加復雜的問題，因此今天就來詳細討論一下這個問題。大模型長文本大模型（如GPT4、GPT3.5、BERT等）處理長文本時面臨一些特殊的挑戰和技術細節。對于長文本的處理，常見的問題包括模型的輸入長度限制、生成質量控制、計算資源消耗等。以下是一些關于大模型處...大模型淺看大模型用于Text2SQL的綜述
原創前言我們來看看大模型在text2sql上的一篇綜述，大模型的發展，出現了一系列新方法，主要集中在提示工程（promptengineering）和微調（finetuning）上。這篇綜述提供了LLMs在TexttoSQL任務中的全面概述，討論了基準數據集、提示工程、微調方法和未來的研究方向。Text2SQL利用大型語言模型（LLMs）解決文本到SQL任務的方法，主要包括提示工程和微調兩大類。1.提示工程提示工程通過設計結構化的提示，使LLMs能夠理解任務需求并生成...Text2SQL提示工程微調快手前端動效大揭秘：告別低效，vision平臺來襲！
導讀：動效平臺作為快手舉辦大型線上活動的堅實后盾，發揮著承上啟下的關鍵作用。本篇文章將全方位地為您呈現Vision動效平臺的整體架構及其演進思路，為您揭開這一強大平臺的神秘面紗。一、前言本系列文章從我們在Vision動效平臺中做的一些工作為切入點，計劃通過多篇文章全面展現我們的工作成果。首篇將闡述Vision動效平臺的整體演進思路，聚焦于平臺的核心能力，為讀者勾勒出我們在動效領域的初步布局。隨后，我們將詳細介紹...前端高效使用Cursor以實現10x編程
原創譯者布加迪審校重樓出品51CTO技術棧（微信號：blog51cto）在生成式人工智能時代，我們的許多工作已發生了巨大的變化，這包括編程工作，大語言模型（LLM）極大地促進了這個過程。最近，許多基于生成式人工智能的代碼輔助工具已紛紛亮相。許多工具執行同樣的任務，但有一款工具備受公眾的關注，那就是Cursor。Cursor是一款基于AI的代碼編輯器，旨在讓開發人員可以致力于改善工作體驗，而不是僅僅修復代碼。Cursor對開發人員大有幫...Curso編程AI刷屏了！Genie 2開啟文生游戲時代，可交互的世界模型震撼登場！背后團隊曝光；12天直播能否截胡老對手
編輯伊風出品51CTO技術棧（微信號：blog51cto）AI公司年底要沖業績了！一覺醒來，OpenAI宣布了未來12天的直播活動，而老對手谷歌直接發布了Genie2，宣布在世界模型方面又邁出重要一步！圖片但，至少今天是谷歌更勝一籌——Genie2是在太令人印象深刻了！用GoogleDeepMind首席執行官DemisHassabis話來說：“世界模型正在成形。”圖片給Genie2一張照片，它給你一個可以交互的世界！無論是創造一個飛船上的游戲世界，還是想變身行走...Genie 2OpenAI模型吳恩達開源AISuite，簡單高效調用多個大模型
AISuite是個Python庫，能讓你通過單一接口輕松接入多家生成式AI服務。今天帶大家一步步了解如何安裝和配置AISuite，并使用它與各種AI模型進行高效互動。1安裝AISuiteAISuite托管在GitHub上，可以通過pip安裝。運行以下命令：pipinstallaisuite此命令將獲取并安裝該庫及其依賴項。2設置API密鑰要與生成式AI提供商交互，需要從計劃使用的提供商那里獲取API密鑰。AISuite支持多個提供商，例如：OpenAI，Anthropic，Azure，Google，...吳恩達開源AISuite優雅談大模型：神經網絡與矩陣
1.向量與矩陣上個章節的神經網絡是為了解Transformer或者Mamba做好鋪墊，在和后輩交流過程中發現有個障礙，那就是向量和矩陣。其實向量和矩陣的表達方式不是所有人都很習慣。在繼續下面的章節之前小編認為有必要將向量、矩陣和神經網絡做下補充解釋。向量是具有方向和大小的量，用箭頭表示。向量具有下面的性質：有好事者翻出來內積的幾何含義，其實就是兩個向量的長度乘以它們的夾角，那么上面代數的表達方式和下面的帶有cosθ...大模型神經網絡矩陣
