AI.x社區
- 登錄/注冊
最強開源大模型易主，號稱超過Llama 2、Mixtral、Grok-1的DBRX是什么？
3月27日，美國數據和人工智能公司Databricks宣布開源MosaicResearch團隊主導開發的通用混合專家（MoE）大語言模型DBRX。DBRX的研發歷經數月，耗資約1000萬美元，共包含1320億參數，16個專家網絡，每次推理時會啟用其中的4個專家網絡和360億參數。DBRX在語言理解、編程、數學和邏輯等方面表現卓越，不僅在性能上超過了開源大模型Llama2、Mixtral以及馬斯克新開源的Grok1，而且在多項評分上已經逼近GPT4。HyperWriteAICEOMattShum...大模型CVPR 2024 | 多模態大模型幻覺原因找到了！
論文題目：OPERA:AlleviatingHallucinationinMultiModalLargeLanguageModelsviaOverTrustPenaltyandRetrospectionAllocation論文地址：??https:arxiv.orgabs2311.17911??代碼地址：??https:github.comshikiwOPERA??01背景從LLaVA到QwenVL，從GPT4V到Claude3，幻覺（Hallucination）問題一直是當前多模態大模型（MLLM）的重要問題。當前大多數的多模態大模型對于用戶提供的圖像和提問，容易因為幻覺給出非常離譜的回答，...大模型 研究ICLR 2024 | 雞生蛋蛋生雞？再論生成數據能否幫助模型訓練
隨著生成模型（如ChatGPT、擴散模型）飛速發展，一方面，生成數據質量越來越高，到了以假亂真的程度；另一方面，隨著模型越來越大，也使得人類世界的真實數據即將枯竭。面對這一處境，一個近期的研究熱度是，能否利用生成模型生成的假數據來輔助學習？學界對此也產生了許多爭論：到底是可以左腳踩右腳（bootsrap）地實現weaktostrong的不斷提升，還是像雞生蛋、蛋生雞一樣，只不過是徒勞無功？在近期ICLR2024工作中，北大王奕森...數據生成假如AI圈有世紀大和解
前不久，曹云金給郭德綱直播刷火箭登上熱搜。網友們除了各自站隊之外，還有不少人表示，你們倆什么時候世紀大和解啊？說起和解，其實AI圈也有不少矛盾。有些是纏綿多年的新仇舊恨，有些是要對簿公堂的深仇大恨。如果這些矛盾都能世紀大和解，那么AI行業會發生什么？大愚人節的，我們給大伙整個活：盤點一下AI圈有哪些最知名，最持久，最讓人鬧心的矛盾。這些矛盾想要和解，前提條件是什么？和解了之后又會怎樣？話不多說，咱們...AI蘋果似乎達到了AGI，?此AGI非彼AGI
整理丨諾亞出品51CTO技術棧（微信號：blog51cto）近日，蘋果宣布，全球開發者大會（WWDC）將于6月10日（北京時間6月11日）開幕，大會面向所有開發者全程在線開放。據官方新聞稿介紹，本次活動“旨在展示iOS、iPadOS、macOS、watchOS、tvOS和visionOS的前沿創新”。此前多方報道稱AI將會成為下一個大版本iOS、macOS等系統的主要更新方向。傳聞也并非無的放矢。向來保守的蘋果正積極尋求合作以提升其生成式人工智能技術實力。最新...蘋果AGIiPadOS一文詳解Transformer 細節及代碼實現
圖1：原論文信息AttentionIsAllYouNeed：https:arxiv.orgpdf1706.03762.pdfIntroductionTransformer——由Google的研究人員在2017年的《AttentionIsAllYouNeed》[1]中提出。其首先在NLP領域中取得了SOTA的表現，之后也逐漸的被運用到CV及其他領域里，依舊展露出耀眼的鋒芒！網絡上已有很多樂于奉獻的博主、大佬們通過文章、視頻等方式詳細解釋了Transformer的整體架構，對我的學習起到了極大的幫助。本文著重于以下兩點：Dimens...Transformer深入理解Sora技術原理
精華OpenAI發布的視頻生成模型Sora(https:openai.comsora)，能根據文本生成長達一分鐘的高質量視頻，理論上支持任意分辨率，如1920x1080、1080x1920，生成能力遠超此前只能生成25幀576x1024圖像的頂尖視頻生成模型StableVideoDiffusion。一起公布的，還有一篇非常簡短的技術報告，報告大致介紹了Sora的架構及應用場景，并未對模型的原理做過多的介紹。技術報告鏈接：https:openai.comresearchvideogenerationmodelsasworldsimulator...Sora技術視頻三大關鍵技術看RAG如何提升LLM的能力
精華大語言模型表現出色，但是在處理幻覺、使用過時的知識、進行不透明推理等方面存在挑戰。檢索增強生成（RAG）作為一個新興的解決方案，通過整合外部知識庫的數據，提高了模型在知識密集型任務中的準確性和可信度，能夠實現知識持續更新和特定領域信息的集成，有效將LLM的內在知識與外部數據的巨大動態資源相結合。本文主要是對綜述論文《RetrievalAugmentedGenerationforLargeLanguageModels:ASurvey》的概括和解讀，同時也會整...RAG 工具OpenAI首次展示音頻模型Voice Engine，生成的聲音太逼真了！
3月30日凌晨，OpenAI在官網首次展示了全新自定義音頻模型“VoiceEngine”。用戶只需要提供15秒左右的參考聲音，通過VoiceEngine就能生成幾乎和原音一模一樣的全新音頻，在清晰度、語音連貫、音色、自然度等方面比市面上多數產品都強很多。除了能合成音頻之外，OpenAI還展示了VoiceEngine很多其他際商業用途，例如，一位失去聲音表達能力的女孩，在VoiceEngine幫助下能像以前一樣正常發音說話。VoiceEngine功能展示OpenAI并非展...AI 語音靠AIGC翻身，又遇比特幣大漲，蔡文勝的美圖「賭贏」了？
有這樣一家曾因“炒幣”虧損而上熱搜的公司，在兜兜轉轉嘗試無數賽道數年、虧損近20億元后，轉身發現自己一直守著的主營業務，在AI能力的加持之下，居然是這么大的一座金礦......3月15日，美圖公司發布其2023年年度報告，財報顯示，公司2023年營收收入約26.96億元，同比增長29.27%，凈利潤為3.78億元，同比增長301.8%。針對為何2023年度業績快速增長，其實公司早在業績預報中就已經給出答案，美圖表示2023年利潤的顯著增長主要...AIGC會“教”難“育”，AIGC卷不了教師
大模型的風想要掛向教育行業的深處，還得再等上一些時日。ChatGPT在市場上火得一塌糊涂，大有顛覆傳統教育行業的趨勢，而體制內卻冷靜得像是不知道ChatGPT的存在。“你知道現在很火的ChatGPT嗎？”——「智能相對論」在與身邊幾位公立學校的教師朋友交流ChatGPT、大模型、AI教育等話題后發現，體制內的教師對于這類熱點話題并不了解，似乎也不在意其是否能顛覆傳統教育模式的問題。在他們看來，AI要顛覆傳統教育模式太遙遠了，...AIGCAIGC進入應用之爭，誰能搶占流量入口？
2023年卷了一年大模型之后，業內的普遍共識是，2024年將是AI大模型應用的浪潮年。雖然底層模型技術還在爬坡，應用層普遍都處于早期階段，但業內已經開始期待KillerApp的出現。特別是年初Sora的橫空出世，帶來關于垂類模型和具體行業落地的大討論。從已有的AIGC應用分布來看，廠商們押寶的大方向更多地集中在兩個AIGC工具與AI社交兩個賽道。前者無論關注度還是下載量，目前都處于表現不俗。例如包括Midjourney、Quillbot等在內的...AI何時檢索，何時生成？Self-DC：自我分治解決復合問題
當前研究關注大型語言模型在處理已知和未知問題時的知識邊界。主要問題可分為四類：單一已知問題可通過模型內部知識解決，單一未知問題需調用外部工具獲取知識，組合已知問題需要復雜推理，而組合未知問題則包含其他可能性。如何選擇使用外部檢索或模型內部知識來回答問題是個挑戰。一種方法是樸素RAG，另一種是先評估問題的確定性或不確定性，然后調用生成讀取或檢索讀取。然而，這兩種方法都有局限性，簡單地調用外部檢索并不...檢索分治解決SelfWSDM 2024 | 系統探究適配器微調對于可遷移推薦的影響
本文對基于適配器的可遷移推薦系統進行了實驗探索和深入研究。發現在文本推薦方面，基于適配器的可遷移推薦取得了有競爭力的結果；在圖像推薦方面，基于適配器的可遷移推薦略落后于全量微調。后續本文對四種著名的適配器微調方法進行了基準測試，并深入研究了可能影響適配器微調在推薦任務中的幾個關鍵因素。論文題目：ExploringAdapterbasedTransferLearningforRecommenderSystems:EmpiricalStudiesandPracticalInsights論文鏈...適配器ICCV 2023 Oral | 人類語言演化中學習最優圖像顏色編碼
人類的語言是一種對復雜世界的高度簡潔的編碼，特別是語言中顏色的概念，成功地將原本極大的色彩空間（如256三次方真色彩空間）壓縮至5到10種顏色。受此啟發，來自上海交大，日本理化學研究所，東京大學的研究人員，提出全新的基于視覺任務的色彩量化（colourquantisation）技術，利用深度學習重現人類數萬年的顏色概念的演化。這項技術不但能推進文化人類學的研究，更是為網絡量化(neuralnetworkquantisation)以及多模態大語言...語言顏色編碼圖像基于參考物體的AIGC圖像生成技術在家居導購領域的應用
本文深入探討了基于參考物體的人工智能圖像生成（AIGC）技術的最新進展。首先概述了該類技術如何發展至今，然后著重分析了兩篇重要的相關學術論文。隨后，文章針對家居導購領域的特殊應用場景，討論了運用此項技術時遭遇的挑戰和取得的最新效果。?一、引言隨著AIGC技術的快速發展，其中以StableDiffusion模型為代表的的文生圖技術已經在內容生成領域產生了應用價值，用戶只需要提供一段文本輸入，就能通過AI模型快速生成大量美...人工智能圖像生成AIGCCVPR 2024 | 和馬賽克說拜拜！華為、清華等提出基于認知的萬物超分大模型
圖像超分辨率技術旨在將低分辨率圖像轉換為高分辨率圖像，從而提高圖像的清晰度和細節真實性。隨著超分技術的發展和手機硬件性能的提升，人們期望拍攝出更加清晰的照片。這項技術在手機影像等領域有著廣泛的應用和需求。然而，現有的超分方法存在一些局限性，如下圖所示，主要有以下兩個方面：一是缺乏泛化能力。為了實現更好的超分效果，通常需要針對特定場景使用特定傳感器采集到的數據來進行模型訓練，這種學習方式擬合了某...模型 技術語言模型安全評估新標桿：SALAD-Bench全面安全評估新基準
隨著大語言模型在現實場景中逐漸落地（例如ChatGPT和Gemini），其生成內容的安全性也開始逐漸被大眾關注。通常來講，我們希望大模型避免生成包含危險內容的回復，從而減少對用戶的不良影響，因此評測一個大模型的安全性并分析其弱點成為了一件急需完成的事情。上海人工智能實驗室研究團隊提出了新的大模型安全BenchmarkSALADBench。相比以往的Benchmarks，SALADBench有以下優勢：包含三個層次結構，數量超2萬條的大規模分類數據...大語言模型無需RLHF？ 基于圖增強的大模型可控生成框架
引言可控文本生成（ControlledTextGeneration,CTG）是大語言模型（LargeLanguageModels,LLMs）文本生成的一個重要研究領域，旨在創造出符合特定標準或屬性的文本。這包括調整文本的情緒傾向、確保內容安全性、或滿足具體主題要求等。目前CTG實現的主流方式是結合有監督微調（SupervisedFineTuning,SFT）和人類反饋強化學習（ReinforcementLearningfromHumanFeedback,RLHF）的范式，通過直接改變模型參數以適應特定的輸出要求。...大模型今日arXiv最熱大模型論文：超越LoRA，北京大學提出預訓練模型非梯度優化法
引言：探索大型語言模型中低秩適應的新方法在自然語言處理領域，大語言模型（LLMs）的迅猛發展帶來了前所未有的性能提升。然而，隨之而來的是模型參數數量的激增，這不僅導致了調優成本的線性增長，也給在常規硬件上進行微調帶來了挑戰。為了解決這一問題，研究者們提出了一系列參數高效的調優方法，如LoRA，它們通過只調整模型中一小部分參數來實現與全參數微調相當的性能。盡管這些方法能夠降低約30%的GPU內存需求，但仍需要...大型語言模型自然語言處理
