AI.x社區
- 登錄/注冊
CVPR 2024最佳論文獎公布！生成式AI成最大贏家
CVPR2024本次CVPR共有來自全球的2719篇論文被接收，錄用率為23.6%，相較去年下降2.2%。可以看到，其他國內玩家也表現不俗，都有不少論文入選。比如像騰訊優圖實驗室，此前曝光稱有20篇入選，覆蓋多模態、人臉識別、視覺分割等多個方向。這周，CVPR2024在美國西雅圖正在進行中。CVPR2024最佳論文獎一共兩篇獲獎。第一篇是RichHumanFeedbackforTexttoImageGeneration最近的文本到圖像（T2I）生成模型，如StableDiffusion和Imagen...AI生成到底什么是視覺語言模型？(分類/訓練/評估)
5月27日，Meta發布了VisionLanguageModel行業研究的綜述論文《AnIntroductiontoVisionLanguageModeling》。全文干貨滿滿，但篇幅過長，所以筆者把每一章節放到獨立的文章中，方便對VLM領域感興趣的同學們一邊讀一邊翻譯一邊消化，覺得有用就一鍵三連吧本文只摘譯精華部分，需要了解全文的請至文末跳轉至原文鏈接閱讀。樓主會用GPTs翻譯形成初稿，然后自己精讀后完成終稿，力求每一句話自己都能理解后再輸出譯文。引言近年來，語...模型推理上海交大&阿里巴巴推出虛擬試衣新里程碑式工作——AnyFit：任意場景、任意組合！
精華文章鏈接：https:arxiv.orgpdf2405.18172工程鏈接：https:colorfulliyu.github.ioanyfitpage今天和大家一起學習的是一種名為AnyFit的新型虛擬試穿系統，旨在解決現有技術在處理不同場景和服飾組合時出現的衣物風格不匹配和質量下降問題。通過引入輕量級、可擴展的HydraBlock操作符和并行注意力機制，AnyFit能夠有效地將多種服飾特征注入主網絡，實現高保真度的試穿效果。此外，通過合成多個模型的殘差和實施mask區域增強策略，A...虛擬AIOpenAI最新套娃嵌入模型分析：256維的MTEB效果超過1536維
精華一月份，OpenAI發布了兩種新的嵌入模型：textembedding3small和textembedding3large。這些模型采用套娃表示學習技術（MRL：MatryoshkaRepresentationLearning）進行訓練，這使得開發者可以在嵌入中權衡性能和成本。什么是套娃表示學習？套娃表示學習是一種用于訓練嵌入模型的技術。它允許在犧牲少量準確性的情況下換取更小的嵌入尺寸。因此，可以以更低的成本存儲更多的信息，并更快地搜索它。嵌入通過從序列末尾移除維度，并且...OpenAI模型1536維一場酣暢淋漓的關于大模型神奇能力形成機理的探討
請幫助總結一下GEB這本書的核心思想，以及得到這個思想的思維工具《GEB：哥德爾、艾舍爾、巴赫——集異璧之大成》（G?del,Escher,Bach:AnEternalGoldenBraid）是一本由道格拉斯·侯世達（DouglasHofstadter）撰寫的著名著作。該書于1979年出版，涵蓋了數學、藝術和音樂等多個領域，并融合了哲學和認知科學的思考。它的核心思想是：“集異璧，知無窮”。該書的核心思想可以總結為以下幾個關鍵點：1.自指和形式系統：《GEB》探討...模型機理AIGoogle團隊對紅隊測試的最新貢獻，STAR構建更安全AI語言模型的新途徑
精華紅隊測試已成為發現生成性人工智能（AI）系統中的缺陷、漏洞和風險的重要工具，包括大型語言模型和多模態生成模型。它被AI開發者用來向決策者和公眾利益相關者提供保證，并且越來越多地被監管機構和其他負責維護公共安全的機構要求或強制執行。盡管紅隊測試的使用日益增加，但由于缺乏最佳實踐共識，難以比較結果和建立標準，這阻礙了AI安全研究的進展，也使公眾難以評估AI安全。AI紅隊測試中的一個常見挑戰是確保風險表面的全...GoogleSTARAI看AI如何大海撈針，探索LLM能力邊界實戰?
關鍵鏈接視頻介紹相關代碼概覽隨著人工智能模型處理能力的增強，能夠處理的上下文信息越來越多，達到百萬級別的詞匯量，對于這類長上下文的大型語言模型（LLMs）的研究興趣也隨之增長。在這些模型中，一個流行的測試方法是將一個事實（稱為“針”）嵌入到大量的上下文信息（稱為“干草堆”）中，然后測試模型是否能在這個上下文中找到并回答與這個事實相關的問題。通過這個方法我們能夠評估并理解模型在處理長文本和檢索信息方...AILLM能力聊聊Meta近期的推薦系統大模型
最近，Meta發表了兩篇和推薦系統相關的大模型工作，這類工作不是講NLP等領域的大模型應用到推薦系統，而是直接使用推薦系統的數據訓練大模型。一直以來，阻礙CTR預估等模型朝大模型發展的一個阻礙是，這類模型并不存在像NLP、CV領域模型中的scalinglaw，即模型的效果隨著模型尺寸增大、訓練數據增加而效果提升，單純增加模型尺寸看起來并不能提升效果。今天就跟大家討論2篇近期Meta發表的大模型推薦系統工作，這兩篇工作設計了...Meta系統大模型通過多樣本學習加速LLM應用開發
原創本文通過將持續樣本ICL與RAG比較，討論了具有長上下文LLM的ICL，如何幫助產品團隊創建原型和完整應用，而無需其他資源密集型且耗時的技術。在這短短幾年內，大語言模型(LLM)已經從處理幾千個token的水平發展到了能夠駕馭數百萬個token。其近乎無限的上下文窗口，正在為人類解鎖更多新的應用，并以更簡單方法實現各項自定義任務。根據卡內基梅隆大學(CarnegieMellonUniversity)和特拉維夫大學(TelAvivUniversity)研究人員最近的...LLM大語言模型應用開發谷歌“另辟蹊徑”，展示AI視頻生音頻最新進展，效果驚艷！網友：但有一個缺點
原創編輯伊風出品51CTO技術棧（微信號：blog51cto）最近幾周，文生視頻領域正卷的風生水起。可靈和DreamMachine相繼推出。而后者充滿趣味性的文生視頻功能更是開啟一陣續寫“meme”的狂潮。正當大家覺得文生視頻的開路者Runway要一直沉寂下去的時候。Runway突然上演了一波“王者歸來”。展示了商用級別的生成視頻，讓人難辨是不是AI生成。"一個悲傷的中年禿頭男人變得快樂起來，因為一頂卷發假發和太陽鏡突然落在了他的頭上"。畫質...谷歌AI視頻微軟研究院MRP：大模型動態選擇最佳解題策略的元推理提示，比CoT、ToT更有效
大型語言模型（LLMs）在自然語言理解和生成方面表現出色，但面對現實世界問題的多樣性和復雜性，單一靜態方法的推理能力有限。現有的推理技術，如思維鏈（ChainofThoughts）、思維樹（TreeofThoughts）等，雖然在特定任務上有所提升，但未能在不同任務中持續實現最佳性能。人類在認知過程中通過元推理（metareasoning）動態調整策略，以高效分配認知資源。受此啟發，提出了元推理提示（MetaReasoningPrompting,MRP），以賦予LLM...MRP模型ToTAdvanced RAG 08：使用 Self-RAG 打造高質量、可追溯的 RAG System
原創 精華編者按：RAG技術通過檢索并利用外部知識源，能夠較為有效地提升生成內容的準確性和多樣性。然而，經典RAG流程也存在一些不足，例如不必要的檢索會浪費計算資源，并可能引入無關內容或錯誤信息，影響生成質量。本文介紹了SelfRAG這一技術，通過引入ReflectionTokens，語言模型能夠根據具體需求動態決定是否檢索外部知識，從而大大減少了不必要的檢索操作。與此同時，SelfRAG通過特殊的訓練流程，使生成的內容不僅通順自然，與事...RAGAINVIDIA新模型Nemotron-4 340B系列：98%的訓練數據是合成生成的，你敢信？
標題：Nemotron4340BTechnicalReport模型概述：Nemotron4340B系列模型的基本構成Nemotron4340B系列模型包括三個主要版本：Nemotron4340BBase、Nemotron4340BInstruct和Nemotron4340BReward。這些模型是在NVIDIA開放模型許可協議下發布的，該協議允許模型及其輸出的分發、修改和使用。Nemotron4340B系列模型在多個評估基準測試中與其他開放訪問模型具有競爭力，并且設計為在單個DGXH100設備上使用8個GPU以FP8精度部署時能夠適應...數據語言模型優化【LLM】從軟件工程視角看大語言模型測試
一、結論寫在前面論文標題：ASoftwareEngineeringPerspectiveonTestingLargeLanguageModels:Research,Practice,ToolsandBenchmarks論文鏈接：??https:arxiv.orgpdf2406.08216??LLMs正迅速成為無處不在的工具，既是獨立工具，也是當前和未來軟件系統的組件。為了在2030年的高風險或安全關鍵系統中使用LLMs，它們需要經過嚴格的測試。軟件工程（SE）對機器學習（ML）組件和基于ML的系統測試的研究已經系統地探討了許多主題，...語言模型測試剖析大規模 GPU 集群：針對 LLM 場景的挑戰和優化
精華一、背景我們之前詳細介紹過在千卡和萬卡GPU集群中預訓練LLM的挑戰，其簡單來說可以總結為幾點：1.優化分布式策略，提升MFU；2.異步Checkpointing，增加Checkpointing頻率，減少無效計算；3.完善的故障診斷及任務恢復機制；4.監控和Profiling方案。然而，在整個LLM的開發周期中，除了預訓練外還有很多其他階段，比如數據準備，微調以及模型評估等，如下圖Figure1所示。這里我們介紹一篇上海AILab等團隊的工作，其從整個LLM集群...GPU集群LLMNemotron-4 340B 技術報告：全面解讀當前最強大語言模型的誕生過程
1.最強開源模型要易主了？圖片2天前，英偉達發布了其最強大語言模型Nemotron4340B模型家族，包括Nemotron4340BBase、Nemotron4340BInstruct和Nemotron4340BReward。所有的模型都是基于NVIDIA的開源模型許可協議，允許用戶自由分發、修改和使用模型及其輸出。并且可以在8塊H100的單機上以FP8精度運行。1.1自動化測評在Nemotron4340BInstruct的自動基準測試評估中，分別與開源（如MetaAI的Llama370BInstruct、MistralAITeam的Mixt...語言模型Nemotron字節打造大模型TTS：不僅能高保真合成，而且支持調整編輯
通過高保真合成語音與真人語音無異。首先來聽一段《凡人修仙傳》你猜的沒錯，這段有聲書并非來自某個專業制作團隊，而是一個AI模型SeedTTS，而這個模型則是來自字節跳動的SeedTeam。TTS是指文本轉語音，這是一種具備諸多妙用的技術，像是讓個人智能助理說話、為視頻或游戲配音、輔助視障人士、制作有聲書等等。對于TTS技術研發者來說，流暢自然的表達一直以來都是值得追求的重要目標。字節跳動SeedTeam發布的SeedTTS不只是一個...字節大模型揭秘神秘的種子：Adobe聯合賓夕法尼亞大學發布文本到圖像擴散模型大規模種子分析
精華文章鏈接：?https:arxiv.orgpdf2405.14828??最近對文本到圖像（T2I）擴散模型的進展促進了創造性和逼真的圖像合成。通過變化隨機種子，可以為固定的文本提示生成各種圖像。在技術上，種子控制著初始噪聲，并且在多步擴散推理中，在反向擴散過程的中間時間步驟中用于重參數化的噪聲。然而，隨機種子對生成的圖像的具體影響仍然相對未知。在這項工作中，進行了大規模的科學研究，探討了擴散推理過程中隨機種子的影響。值得注意...Adobe模型UBCFashion和TikTok新SOTA！復旦和騰訊優圖發布端到端人像動畫生成器VividPose！
文章鏈接：https:arxiv.orgpdf2405.18156項目鏈接：https:kelu007.github.iovividpose人像動畫涉及通過遵循指定的姿勢序列從靜態圖像生成視頻。目前的方法通常采用多階段pipeline，分別學習外觀和動作，這往往導致外觀退化和時間不一致。今天和大家分享一篇優化這些問題的工作————VividPose，這是一種基于StableVideoDiffusion(SVD)的創新端到端pipeline，確保了優越的時間穩定性。為了增強人類身份的保留，提出了一種身份...模型生成器The Annotated BERT注釋加量版，讀懂代碼才算讀懂了BERT
原創前面我們從0實現了Transformer和GPT2的預訓練過程，并且通過代碼注釋和打印數據維度使這個過程更容易理解，今天我將用同樣的方法繼續學習Bert。原始Transformer是一個EncoderDecoder架構，GPT是一種Decoderonly模型，而Bert則是一種Encoderonly模型，所以我們主要關注Transformer的左側部分。后臺回復bert獲取訓練數據集、代碼和論文下載鏈接閱讀本文時請結合代碼https:github.comAIDajiangtangannotatedtransformerblobmasterA...TransformerGPT2
