文章鏈接：https:arxiv.orgpdf2407.12705github鏈接：https:imagdressing.github.ioDemo試用：https:sf.dictdoc.site?亮點直擊為商家引入了一項新的虛擬試衣（VD）任務，并設計了一個綜合親和力測量指數（CAMI）用于評估生成圖像與參考服裝之間的一致性。提出了IMAGDressingv1，其中包括一個用于提取細粒度服裝特征的服裝UNet和一個帶有混合注意力模塊的去噪UNet，以平衡服裝特征與文本提示控制。在所有評估指標上表現優于其他...

大家好，我是橙哥！今天我們來盤點一下主流AI大模型各方面性能的最新排名，分別從質量、速度、價格、對話能力、推理能力、編碼、響應時間等能力來進行對比。一、對話能力ChatbotArena是一個基于眾包的大型模型評測基準。它為開發者和研究者提供了一個平臺，在這里可以發布、測試和比較各種類型的聊天機器人，下面是根據ChatbotArena的榜單排名。我們可以看出前三名是：GPT4o、Claude3.5Sonnet、Gemini1.5Pro。二、推理能力MMLU...

撰稿丨諾亞出品51CTO技術棧（微信號：blog51cto）最近，TechPowerUp進行的一項民意調查顯示，絕大多數PC用戶不愿為具備AI能力的硬件支付額外費用。這份調查共收集了超過2萬6千份有效回復，其中高達84%的參與者表明，他們不會為AI增強的特性多掏腰包，僅有7%的受訪者表示愿意，還有9%的人保持不確定態度。圖片盡管PC行業正積極擁抱AI技術，但這一結果表明，核心用戶群體，即那些熱衷于科技并對新功能有深刻見解的發燒友們，絕大...

隨著大模型應用的不斷發展，提示工程技術也在快速迭代更新，越來越多的任務通過精妙的Prompt或者agenticworkflow等方式解鎖。但隨之而來，大量詳細的、巨大的prompt卻會帶來高的成本以及緩慢的響應。這也使得高成本和高延遲成為了大模型應用落地生產的主要障礙。隨著當下LLM應用已經不再是單次的對話，而是復雜的組合AI系統（伯克利：即使模型再強大，復合AI系統（CompoundAISystems）都將會是一種領先的應用模式）都將會是一種...

背景圖片檢索技術是指解析查詢，并從外部數據源中獲取有關信息，在搜索、問答、推薦系統等多個領域得到廣泛運用。比如谷歌、Bing、baidu都是檢索技術成功應用的典型代表，這些搜索引擎可以精準篩選并提供與用戶查詢相匹配的網頁和文檔，大大提升了信息檢索的效率。用過維護外部數據庫中的數據，檢索模型可以獲得最新、準確的知識。在AIGC時代，檢索基于與生成式模型結合，催生了RAG（檢索增強生成技術），這一技術對提升文本內...

一、背景這里介紹一下新出的文章LongCLIP，方案雖然比較簡單，但是CLIP使用的場景非常多，因此對很多任務也會比較有幫助。對應的論文為：??https:arxiv.orgabs2403.15378??對應的代碼庫為：??https:github.combeichenzbcLongCLIPtreemain??二、摘要CLIP（ContrastiveLanguageImagePreTraining）模型在涉及圖文相關的場景中非常常用，比如圖文檢索、文生圖以及大型多模態模型等。它們通常使用CLIP中的TextEncoder或Image...

一、結論寫在前面論文標題：RouteLLM:LearningtoRouteLLMswithPreferenceData論文鏈接：??https:arxiv.orgpdf2406.18665v2??LLM在廣泛的任務中展現出令人印象深刻的能力，然而在選擇使用哪個模型時，往往需要在性能和成本之間做出權衡。更強大的模型雖然有效，但成本更高，而能力較弱的模型則更具成本效益。為了解決這一難題，論文提出了幾種高效的路由模型，這些模型在推理過程中動態選擇更強大或較弱的LLM，旨在優化成本...

一、概述Title:Llama2:OpenFoundationandFineTunedChatModels論文地址：Llama2:OpenFoundationandFineTunedChatModels代碼：??https:github.comfacebookresearchllama??官網：??https:ai.meta.comllama??1Motivation開源的LLMchat模型效果還不太好，還沒一個開源大模型能和閉源模型（例如chatgpt）能比的。ChatGPT是閉源的，LLM的有用性和安全性如何改進這一類論文還不是特別多。2Methods2.1整體架構總結1:參考Instruct...

一、TensorRT簡介TensorRT是由C++、CUDA、python三種語言編寫成的庫，有助于在NVIDIAGPU上進行高性能推理。基于目前主流的深度學習框架得到的模型都可通過TensorRT實現推理加速。圖1TensorRT轉換過程2021年7月，NVIDIA發布了TensorRT8.0版本，新版本極大提升了Transformers結構的推理新能。TensorRT性能優化主要依賴下面兩種方式：1、權重與激活精度校準：在推理中使用FP16或者INT8精度計算，通過降低計算精度，提高計算效率，...

論文鏈接：https:arxiv.orgpdf2407.08737git鏈接：https:vadervid.github.io亮點直擊：引入獎勵模型梯度對齊方法：VADER通過利用獎勵模型的梯度，對多種視頻擴散模型進行調整和對齊，包括文本到視頻和圖像到視頻的擴散模型。廣泛使用預訓練視覺模型：該方法涵蓋了多種預訓練視覺模型，以提高對不同任務的適應能力和性能。內存使用優化技巧：VADER提出了多種技巧，有效改善內存使用效率，使得可以在單個16GBVRAM的GPU上進行訓練...

我昨天在AI工程師世界博覽會上發表了開幕主題演講。我是臨時加入議程的：OpenAI在最后一刻退出了他們的演講，我受邀在不到24小時的通知時間內準備一個20分鐘的演講！我決定重點講述自8個月前上次AI工程師峰會以來LLM（大語言模型）領域的亮點，并討論該領域的一些未解決的挑戰——這是我在早些時候的活動中提出的關于AI工程的開放問題演講的回應。在過去的8個月里，發生了很多事情。最值得注意的是，GPT4不再是該領域無可爭議的...

為了解決這個難題，OpenAI提出了全新訓練框架ProverVerifierGames（簡稱“PVG”），例如，用GPT3這樣的小模型來驗證、監督，GPT4大模型的輸出，從而提升輸出準確率以及可控性。OpenAI論文地址：https:cdn.openai.comproververifiergamesimprovelegibilityofllmoutputslegibility.pdf其實PVG技術概念早在2021年8月的一篇論文中就被提出來，OpenAI也正是受此靈感啟發。這是一種基于博弈論的訓練方法，通過模擬證明者和驗證者之間...

多模態AI的應用范圍正在不斷擴大，那么究竟什么是多模態AI？它又是如何運行的？生成式AI在短短幾年內取得了長足的進步，從基本的文本響應發展到復雜的散文。隨著多模態AI（MultimodalAI）的發展，這項技術的界限正在進一步擴大。如今，多模態AI正在涉足從醫療保健到機器人等多個行業。谷歌、OpenAI、Anthropic和Meta等科技巨頭也紛紛推出了自己的多模態AI模型。什么是多模態AI？多模態AI是指同時利用各種類型（或模式）數據形成...

編輯星璇出品51CTO技術棧（微信號：blog51cto）微軟團隊在辦公領域有著很強的“AI霸者”的野心。近日，微軟最新公布的研究論文，正在計劃為Excel、谷歌Sheets等電子表格應用程序，開發全新的AI大語言模型SpreadsheetLLM。圖片研究人員表示現有電子表格應用程序具備豐富的功能，在布局和格式方面為用戶提供大量的選項，因此傳統AI大語言模型很難勝任電子表格處理場景。圖片而SpreadsheetLLM就是專門為電子表格應用而設計的AI模型...

引言：視頻動態場景中的模糊問題及其挑戰這篇論文主要研究了動態場景視頻去模糊技術，旨在消除拍攝過程中產生的不想要的模糊瑕疵。然而，盡管之前的視頻去模糊方法取得了顯著的成果，但由于訓練和測試視頻之間的域差距，導致在真實世界場景中的表現大幅下降。為了解決這個問題，作者提出了一種基于模糊模型的域自適應方案，通過測試時的模糊來實現去模糊模型在未知域的微調。首先，作者提出了一個相對清晰度檢測模塊，用于從模...

Snap、特倫托大學、加州大學和布魯諾凱斯勒基金會的研究人員，聯合推出了高效、連貫一致性文生視頻模型——SnapVideo。SnapVideo與OpenAI最新推出的Sora一樣采用Transformer架構，結合了時空壓縮表示、全局聯合時空建模以及自適應建模等功能，在生成的視頻質量、視頻動作一致性、復雜動作表現等方面非常棒。除了文本生成視頻之外，SnapVideo還能根據文本提示對原始視頻素材進行剪輯和合成，生成特殊需求的定制化視頻，這對于短...

編者按：在大語言模型（LLMs）相關技術高速發展的今天，哪些基于LLMs的產品真正值得我們投入精力開發？如何從用戶體驗和市場接受度的角度評估這些產品的潛力？今天為大家分享的這篇文章，作者的核心觀點是：優秀的產品應該將GenAI無縫集成到現有工作流中，引入AI不僅要能為用戶提供高價值、變革性的體驗，同時還需兼顧用戶的使用習慣，最好不要增加用戶的學習成本。正如本文所強調的，在追求技術創新的同時，我們不應忘記用戶的...

近期RAG這塊比較火熱的方向當屬GraphRAG，微軟GraphRAG項目自2024.7.3日開源以來，兩周內，收獲10.9k星星，可見其火熱，同時，它既不是第一個也不會是最后一個開源的GrapRAG項目：2024.3.15日LangChain發布GraphRAG實戰教程https:www.llamaindex.aiblogintroducingthepropertygraphindexapowerfulnewwaytobuildknowledgegraphswithllms2024.6.24日螞蟻首個開源GraphRAG框架螞蟻首個對外開源的GraphRAG框架采用全自主的開源產品...

對話智能體是能夠與用戶進行自然語言交流的計算機程序，常見的例子包括OpenAI的ChatGPT、Anthropic的Claude和Google的Gemini等。這些對話智能體不僅能夠回答用戶的問題，還能進行復雜的對話，甚至在某些情況下表現出類似人類的行為。生成式語言模型的核心在于其預測下一個詞（或稱為“token”）的能力。通過對大量文本數據的訓練，這些模型能夠生成連貫且有意義的文本。這種能力使得它們在各種應用中表現出色，從自動寫作到客戶...

你可能已經聽說過GPT這個詞，它是一種人工智能模型，可以生成各種各樣的文本，比如小說、詩歌、對話、新聞等等。GPT的全稱是GenerativePretrainedTransformer，意思是生成式預訓練變換器。生成式表示它可以根據一些輸入（比如一個單詞或一句話）來創造新的內容，預訓練表示它在使用之前已經在大量的文本數據上進行了學習，變換器表示它使用了一種叫做Transformer的神經網絡結構。要理解GPT的工作原理，我們需要先了解一個重要的...