出品51CTO技術(shù)棧（微信號：blog51cto）“模型越大，效果越好”，ScalingLaw再次被OpenAI帶火了，但谷歌的研究人員的最新研究證偽了這一觀點。在周一發(fā)表的一項研究中，谷歌研究院和約翰霍普金斯大學(xué)的研究人員對人工智能(AI)模型在圖像生成任務(wù)中的效率有了新的認(rèn)識。這些發(fā)現(xiàn)挑戰(zhàn)了“越大越好”的普遍信念，可能對開發(fā)更高效的人工智能系統(tǒng)產(chǎn)生重大影響。1.模型大小與性能之間的較量這項研究由研究人員KangfuMei和ZhengzhongTu...

幾天前，OpenAI官方賬號發(fā)布了第一支由Sora制作的MV——Worldweight，引全網(wǎng)圍觀。AI視頻，已然成為多模態(tài)LLM發(fā)展的大趨勢。然而，除了視頻生成，讓LLM對復(fù)雜視頻進行理解，也至關(guān)重要。最近，來自KAUST和哈佛大學(xué)的研究人員提出了MiniGPT4Video——專為視頻理解而設(shè)計的多模態(tài)大模型。論文地址：??https:arxiv.orgpdf2404.03413.pdf??值得一提的是，MiniGPT4Video能夠同時處理時態(tài)視覺數(shù)據(jù)和文本數(shù)據(jù)，因此善于理解視頻的...

在人工智能構(gòu)筑的世界中，AI有時會像人一樣存在著某種偏見或傾向性。比如對于大語言模型而言，由于訓(xùn)練數(shù)據(jù)的影響會不可避免地存在性別偏見、種族刻板印象，等等。當(dāng)然，這種偏見或傾向性在圖像生成工具中同樣存在。今年2月，谷歌Gemini被曝出拒絕在圖像中描繪白人，生成大量違背基本事實（性別、種族、宗教等）的圖片。馬斯克也被系統(tǒng)過分矯正了。近日，外媒TheVerge的一篇文章指出，Meta的AI圖像生成器無法準(zhǔn)確生成「亞洲男性...

「小破站鬼畜區(qū)的新質(zhì)生產(chǎn)力工具。」近日，騰訊開源發(fā)布的一個新項目在推上獲得了如此評價。這個項目是AniPortrait，其可基于音頻和一張參考圖像生成高質(zhì)量動畫人像。該項目剛上線幾天，就已經(jīng)收獲了廣泛好評：GitHubStar數(shù)已經(jīng)突破2800。下面我們來看看AniPortrait的創(chuàng)新之處。論文標(biāo)題：AniPortrait:AudioDrivenSynthesisofPhotorealisticPortraitAnimation論文地址：https:arxiv.orgpdf2403.17694.pdf代碼地址：https:github...

在探索人工智能邊界時，我們時常驚嘆于人類孩童的學(xué)習(xí)能力——可以輕易地將他人的動作映射到自己的視角，進而模仿并創(chuàng)新。當(dāng)我們追求更高階的人工智能的時候，無非是希望賦予機器這種與生俱來的天賦。由上海人工智能實驗室，南京大學(xué)，中科院深圳先進技術(shù)研究院牽頭，聯(lián)合東京大學(xué)，復(fù)旦大學(xué)，浙江大學(xué)，中國科學(xué)技術(shù)大學(xué)等高校的學(xué)生和研究者，共同公布了跨視角技能學(xué)習(xí)數(shù)據(jù)集EgoExoLearn，為機器人賦予了通過觀察他人學(xué)習(xí)新動...

大模型不看圖，竟也能正確回答視覺問題？！中科大、香港中文大學(xué)、上海AILab的研究團隊團隊意外發(fā)現(xiàn)了這一離奇現(xiàn)象。他們首先看到像GPT4V、GeminiPro、Qwen1.572B、YiVL34B以及LLaVANext34B等大模型，不管是閉源還是開源，語言模型還是多模態(tài)，竟然只根據(jù)在多模態(tài)基準(zhǔn)MMMU測試中的問題和選項文本，就能獲得不錯的成績。△藍(lán)色表示能看到圖的LVLMs，橘色和綠色分別表示只接收問題和選項文本的LLMs和LVLMs（LLM：大語言模型；LVLM...

谷歌終于更新了Transformer架構(gòu)。最新發(fā)布的MixtureofDepths（MoD），改變了以往Transformer計算模式。它通過動態(tài)分配大模型中的計算資源，跳過一些不必要計算，顯著提高訓(xùn)練效率和推理速度。結(jié)果顯示，在等效計算量和訓(xùn)練時間上，MoD每次向前傳播所需的計算量更小，而且后訓(xùn)練采樣過程中步進速度提高50%。這一方法剛剛發(fā)布，就馬上引發(fā)關(guān)注。MoE風(fēng)頭正盛，MoD已經(jīng)來后浪拍前浪了？還有人開始“算賬”：聽說GPT4Turbo在Blackwel...

“只需”10萬美元，訓(xùn)練Llama2級別的大模型。尺寸更小但性能不減的MoE模型來了：它叫JetMoE，來自MIT、普林斯頓等研究機構(gòu)。性能妥妥超過同等規(guī)模的Llama2。△賈揚清轉(zhuǎn)發(fā)要知道，后者可是數(shù)十億美元級別的投入成本。JetMoE發(fā)布即完全開源，且學(xué)術(shù)界友好：僅使用公開數(shù)據(jù)集和開源代碼，用消費級GPU就能進行微調(diào)。不得說，大模型的打造成本，真的比人們想的要便宜更多了。Ps.StableDiffusion前老板Emad也點了贊：10萬美刀實現(xiàn)Llam...

去年，AutoGPT的出現(xiàn)讓我們見識到了AI代理強大的自動化能力，并開創(chuàng)了一個全新的AI代理賽道。但在子任務(wù)調(diào)度、資源分配以及AI之間協(xié)作還有不少的難題。因此，羅格斯大學(xué)的研究人員開源了AIOS，這是一種以大模型為核心的AI代理操作系統(tǒng)。可有效解可決隨著AI代理的增加，資源調(diào)用率低的難題，同時能促進代理之間的上下文切換、實現(xiàn)并發(fā)執(zhí)行代理并維護代理的訪問控制。開源地址：https:github.comagiresearchAIOS論文地址：https:a...

大模型又被曝出安全問題？這次是長上下文窗口的鍋！今天，Anthropic發(fā)表了自己的最新研究：如何繞過LLM的安全限制？一次越獄不夠，那就多來幾次！論文地址：??https:wwwcdn.anthropic.comaf5633c94ed2beb282f6a53c595eb437e8e7b630ManyShotJailbreaking202404020936.pdf??在拿著Claude3一家叫板OpenAI之余，Anthropic仍然不忘初心，時刻關(guān)注著他的安全問題。一般情況下，如果我們直接向LLM提出一個有害的問題，LLM會委婉拒...

引言：探索記憶消除的界限在人工智能的發(fā)展過程中，一個引人入勝的議題是機器學(xué)習(xí)模型是否能夠被訓(xùn)練以忘記其曾經(jīng)學(xué)到的信息。近期，RonenEldan和MarkRussinovich在其研究“誰才是哈利·波特？”[1]中提出了一種創(chuàng)新技術(shù)，聲稱能夠從LLMs中“抹去”特定數(shù)據(jù)集的記憶，尤其是針對《哈利·波特》這樣的知名作品。他們的方法引發(fā)了業(yè)界的廣泛關(guān)注，并被認(rèn)為是在LLMs“遺忘”技術(shù)領(lǐng)域的一大突破。但是，本文將對Eldan和Russinovich...

引言：大語言模型的高效微調(diào)及其在多樣化任務(wù)中的應(yīng)用在人工智能領(lǐng)域，大語言模型（LLMs）已成為推動技術(shù)進步的關(guān)鍵力量。它們在理解和生成自然語言方面展現(xiàn)出了卓越的能力，從而在問答系統(tǒng)、機器翻譯、信息提取等多樣化任務(wù)中發(fā)揮著重要作用。然而，要將這些模型適配到特定的下游任務(wù)中，通常需要進行微調(diào)（finetuning），這是一個資源密集型的過程。高效的微調(diào)方法因此成為了研究的熱點，旨在減少訓(xùn)練成本，同時保持或提升模...

你有沒有想過，如果有一天ChatGPT有了身體，跑到你辦公桌上成了你的寵物，這是個多么有趣的場景，LOOI就是這樣一款把幻想帶進現(xiàn)實的產(chǎn)品不得不說，ChatGPT讓具身智能達到了新高度，LOOI便應(yīng)運而生。LOOI是什么LOOI是一個集成了ChatGPT為大腦的智能桌面機器人，你可以叫它為?lu?i，類似于英美口音中的“Louie”（路易）。它可以理解復(fù)雜的指令，與人類順暢地溝通。它還能通過視覺模塊感知周圍的一切，他會想要了解你在做什么，...

OpenAI又帶來了一項超酷的進展！周五推出了一項名為VoiceEngine的語音引擎，僅憑一段15秒的聲音樣本，便能夠精準(zhǔn)模仿出那個人的聲音。VoiceEngine的獨特之處在于，它能通過簡單的文本輸入和短短音頻樣本，創(chuàng)造出非常接近原始說話者的自然聲音。這意味著無論你讓它讀什么語言的文字，都能以那個人獨有的聲音風(fēng)格朗讀，效果既逼真又充滿感情。總而言之，OpenAI通過這項新技術(shù)展示了人工智能復(fù)制人聲的驚人可能性，接下來讓我們一...

2024年3月21日，HeyGen5.0正式發(fā)布！這款革命性的AIGC產(chǎn)品將AI數(shù)字人的魔力融入視頻創(chuàng)作，以其簡潔易用的特性，讓視頻制作變得輕而易舉。只需幾次點擊，即可打造出令人驚嘆的高品質(zhì)視頻作品！不僅如此，HeyGen支持超過40種語言和多種口音，每一個數(shù)字人都是語言大師！如此驚艷！HeyGen5.0生成的數(shù)字人不僅可以保持口型同步，克隆語音語調(diào)，保留背景聲，還能精準(zhǔn)的識別和追蹤用戶的身體動作，如手部移動和手勢！讓我們看看下面的...

引言：大語言模型數(shù)學(xué)能力評估的重要性數(shù)學(xué)能力的評估對于理解和發(fā)展大語言模型（LLMs）至關(guān)重要。數(shù)學(xué)問題不僅涉及對數(shù)字的理解和操作，還包括了抽象概念化、邏輯推理等核心能力的考察。因此，一個高質(zhì)量的數(shù)學(xué)評估基準(zhǔn)對于全面評估LLMs的能力具有重大意義。傳統(tǒng)的數(shù)學(xué)問題數(shù)據(jù)集，如AddSub和MultiArith（下圖），提供了基礎(chǔ)的數(shù)學(xué)詞匯問題庫，但這些通常只能評估模型在特定數(shù)學(xué)問題上的準(zhǔn)確性。隨著中文LLMs的迅速發(fā)展，相應(yīng)...

StabilityAI又有新動作！程序員又有危機了？3月26日，StabilityAI推出了先進的代碼語言模型StableCodeInstruct3B，該模型是在StableCode3B的基礎(chǔ)上進行指令調(diào)優(yōu)的CodeLM。StabilityAI表示，StableCodeInstruct3B在代碼完成準(zhǔn)確性、對自然語言指令的理解以及處理多種編程語言方面都優(yōu)于同類模型，在3B規(guī)模下提供最先進的性能，并且性能媲美Codellama7BInstruct以及DeepSeekCoderInstruct1.3B先讓我們來感受一下StableCodeInstruc...

編譯丨伊風(fēng)出品51CTO技術(shù)棧（微信號：blog51cto）對生成性人工智能（generativeAI）的需求正不斷增長，而對LLM安全和可靠性的擔(dān)憂也變得比以往任何時候都更加突出。企業(yè)希望能確保為內(nèi)外部使用而開發(fā)的大規(guī)模語言模型（LLM）能夠提供高質(zhì)量的輸出，而不會偏離到未知領(lǐng)域。微軟認(rèn)識到這些擔(dān)憂，長期以來，微軟使用OpenAI的模型只能調(diào)用API，對黑盒里的秘密缺少掌控的方法。微軟近期宣布推出了新的AzureAI工具，用以幫助解決大模...

文章鏈接：https:arxiv.orgpdf2403.17694Github鏈接：??https:github.comZejunYangAniPortrait??本文提出了AniPortrait，一個新穎的框架，用于生成由音頻和參考人像驅(qū)動的高質(zhì)量動畫。方法分為兩個階段。首先，從音頻中提取3D中間表示，并將它們投影到一系列2D面部關(guān)鍵點上。隨后，采用了一個強大的擴散模型，結(jié)合一個運動模塊，將關(guān)鍵點序列轉(zhuǎn)換為逼真且時間上連貫的人像動畫。實驗結(jié)果表明，在面部自然性、姿勢多樣性和視...

先思考一個問題：一個依賴于云端AI的PC，能夠稱之為AIPC嗎？2024年的PC市場，AIPC無疑會是最重要的概念之一，主流PC廠商以及英特爾、AMD都在下重金押注。但對于已經(jīng)發(fā)布的AIPC產(chǎn)品，不少人并不認(rèn)可，核心在于這些AIPC中「AI」與「PC」（硬件）基本是分離的。很簡單，就拿目前PC上最大的AI用例——微軟Copilot來說，在英特爾與微軟對「AIPC」的聯(lián)合定義中，強調(diào)必須配備混合架構(gòu)芯片、Copilot及其對應(yīng)的物理按鍵。但事實是，所有...