論文鏈接：https:arxiv.orgpdf2408.11475項(xiàng)目鏈接：https:zhtjtcz.github.ioTrackGoPage★亮點(diǎn)直擊本文引入了一種新穎的運(yùn)動可控視頻生成方法，稱為TrackGo。該方法為用戶提供了一種靈活的運(yùn)動控制機(jī)制，通過結(jié)合masks和箭頭，實(shí)現(xiàn)了在復(fù)雜場景中的精確操控，包括涉及多個(gè)對象、細(xì)粒度對象部件和復(fù)雜運(yùn)動軌跡的場景。本文開發(fā)了一個(gè)新組件，稱為TrackAdapter，用于有效且高效地將運(yùn)動控制信息集成到時(shí)間自注意力層中。本文進(jìn)行...

曾經(jīng)在AI圖像生成領(lǐng)域無可匹敵的領(lǐng)導(dǎo)者M(jìn)idjourney，終于聽勸了，上周五推出了網(wǎng)頁版圖像編輯器。新編輯器巧妙集成了重繪、縮放等核心功能。不僅提高了操作效率，而且使整體交互邏輯更加清晰，對于高頻使用Midjourney的用戶來說，絕對欣喜！今天，Midjourney宣布，將升級后的新工具向所有人免費(fèi)開放試用。不論是產(chǎn)品更新，還是發(fā)放限時(shí)免費(fèi)試用券，Midjourney似乎都傳遞出了一種緊迫感——新興的Flux1強(qiáng)勢崛起，表現(xiàn)異常出色；最...

谷歌DeepMind在社交平臺分享了最新研究，將大模型Gemini1.5Pro集成在實(shí)體機(jī)器人中，為其提供導(dǎo)航、推理等服務(wù)。由于缺乏高級認(rèn)知、學(xué)習(xí)能力、語義理解以及數(shù)據(jù)存儲等，傳統(tǒng)機(jī)器人的“回憶能力”較差，無法提供更人性化的服務(wù)。而Gemini1.5Pro提供的100萬Tokens上下文長度，可有效解決這些難題，通過語音對話的方式將能讓機(jī)器人執(zhí)行各種任務(wù)同時(shí)具備回憶的能力。根據(jù)谷歌的測試結(jié)果顯示，在Gemini1.5Pro的幫助下，在836平方米的...

譯者朱先忠審校重樓簡介視覺轉(zhuǎn)換器（VisionTransformer，通常縮寫為“ViT”）可以被視為計(jì)算機(jī)視覺領(lǐng)域的重大突破技術(shù)。當(dāng)涉及到與視覺相關(guān)的任務(wù)時(shí)，人們通常使用基于CNN（卷積神經(jīng)網(wǎng)絡(luò)）的模型來解決。到目前為止，這些模型的性能總是優(yōu)于任何其他類型的神經(jīng)網(wǎng)絡(luò)。直到2020年，Dosovitskiy等人發(fā)表了一篇題為《一張圖頂16×16個(gè)單詞：大規(guī)模圖像識別的轉(zhuǎn)換器》的論文（參考文獻(xiàn)1），論文中強(qiáng)調(diào)這種轉(zhuǎn)換器能夠提供比傳統(tǒng)卷積神...

如何用ai繪畫二次元少女圖片？隨著數(shù)字化時(shí)代的發(fā)展，藝術(shù)作品的創(chuàng)作方式也在逐漸發(fā)生變革。從手動創(chuàng)作圖片到現(xiàn)在的ai一鍵繪畫生成圖片，圖片創(chuàng)作的成本在降低，時(shí)間在減少。那么如果我們想使用ai軟件來繪畫二次元少女圖片，應(yīng)該怎么做呢？下面就讓我們一起來看一下如何用ai繪畫二次元少女圖片。一、ai繪畫二次元少女圖片分享（附描述詞）1.二次元，夜晚，煙花少女害羞而驚喜，大概14歲，妹妹系，棕色頭發(fā)。2.一個(gè)二次元英俊男...

我個(gè)人對llm是一種很復(fù)雜的態(tài)度。畢竟，它真的擊碎了我2023年之前所有的技術(shù)積累，以前在nlp苦心鉆研的訓(xùn)練經(jīng)驗(yàn)、模型結(jié)構(gòu)、不同任務(wù)類型的不同處理技巧，好像在ChatGPT面前顯得一文不值。不過，事情都有兩面性。與我的技術(shù)一起被擊碎的，還有我那一潭死水的工作內(nèi)容。我不再是特征工程師——“花了幾個(gè)月的時(shí)間，就只為了構(gòu)造某個(gè)能力的數(shù)據(jù)特征，然后想辦法加入到模型網(wǎng)絡(luò)中”。當(dāng)領(lǐng)導(dǎo)又想讓模型有一個(gè)新的能力怎么辦，重復(fù)這...

大家也許會很好奇為什么在ViT章節(jié)插入了NVIDIALlama3.1Minitron4B，ViT因?yàn)閼?yīng)用場景的特殊性所以都寄希望于高效率的模型，因此各種針對大參數(shù)模型的提煉和優(yōu)化技術(shù)層出不窮。而NVIDIALlama3.1Minitron則復(fù)現(xiàn)了這些系列的教科書實(shí)驗(yàn)。對于一些基本的術(shù)語，可以移步??ViT1??溫習(xí)一下。1.Llama3.1Minitron4BLLMs例如Llama3.1405B和NVIDIANemotron4340B在許多具有挑戰(zhàn)性的任務(wù)中表現(xiàn)出色，包括編碼、推理和數(shù)學(xué)。但是部署它們需...

編輯言征有點(diǎn)震驚，谷歌也開始擁抱英偉達(dá)的GPU了！盡管有著自家的TPU，但為了更好地市場競爭，英偉達(dá)的GPU終究是繞不開（皮衣客黃教主盡情笑吧！）近日，谷歌抖了大料：不僅推出了云端的GPU，把AI引進(jìn)了Serverless，同時(shí)贈送了幾個(gè)開源大模型以供開發(fā)者進(jìn)行部署和微調(diào)。這對開源大模型愛好者們而言是一個(gè)重大利好：省事更省錢了。這相當(dāng)于不管是硬件的算力，還是軟件層面的大模型，谷歌直接給出了一個(gè)完整的全家桶，不必再苦于...

嘿，大家好！這里是一個(gè)專注于AI智能體的頻道！今天我要和大家聊聊一些實(shí)戰(zhàn)相關(guān)的內(nèi)容。大模型在實(shí)際的工業(yè)場景下最常見的2個(gè)場景分別為應(yīng)用助手（copilot）,文檔知識庫問答（RAG）。事實(shí)上后者也逐漸在往更復(fù)雜的Agentic方向發(fā)展了，今天我們來看以下如何搭建一個(gè)可控的RAGAgent。RAGAgent核心是它的“大腦”，一個(gè)復(fù)雜的確定性圖，它能讓AI進(jìn)行復(fù)雜的推理。而且，這個(gè)系統(tǒng)一般還能防止“幻覺”。確保所有答案都基于提供的數(shù)據(jù)...

隨著Gemini、GPT4o等模型的出現(xiàn)，具備看、聽、說的多模態(tài)大模型成為了新的主流。由于訓(xùn)練數(shù)據(jù)復(fù)雜、模型架構(gòu)過于復(fù)雜，在生成、識別內(nèi)容時(shí)很容易出現(xiàn)錯(cuò)誤描述也稱為“幻覺”，例如，當(dāng)看到一張包含刀、叉和勺子的餐具圖片時(shí)，模型會錯(cuò)誤地描述為牙簽。為了解決這個(gè)難題，谷歌DeepMind、谷歌云AI研究、向量研究所和皇后大學(xué)的研究人員通過數(shù)據(jù)增強(qiáng)和對比調(diào)優(yōu)的方法開發(fā)了HALVA模型。論文地址：https:arxiv.orgabs2405.18654HALVA...

微軟開源了最新Phi3.5系列模型，共有mini指令微調(diào)、專家混合和視覺微調(diào)三種模型。Phi3.5系列的參數(shù)非常小，但性能卻超過了Meta最新開源的Llama3.18B和Mistral7B等知名開源模型，也是目前開源大模型排行榜中唯一入選前10名的小參數(shù)模型。所以，微軟開源的Phi3.5系列是專門面向那些算力、硬件有限的中小企業(yè)和個(gè)人開發(fā)者，同時(shí)可以部署在手機(jī)、平板電腦等移動設(shè)備中使用。Mini開源地址：https:huggingface.comicrosoftPhi3.5minii...

“反向傳播是大模型訓(xùn)練的核心，沒有反向傳播就沒有大模型”了解過大模型技術(shù)的人應(yīng)該都知道，大模型有幾個(gè)核心模塊；對應(yīng)的也有幾個(gè)核心技術(shù)點(diǎn)，比如訓(xùn)練數(shù)據(jù)的準(zhǔn)備，機(jī)器學(xué)習(xí)(神經(jīng)網(wǎng)絡(luò))模型的設(shè)計(jì)，損失函數(shù)的設(shè)計(jì)，反向傳播算法等。而今天討論的就是反向傳播算法，其可以說是模型訓(xùn)練的核心模塊，沒有反向傳播模型訓(xùn)練就無從談起。那么，反向傳播算法是怎么實(shí)現(xiàn)的呢？其技術(shù)原理是什么？有哪些注意點(diǎn)？反向傳播算法的實(shí)現(xiàn)介...

如果用一個(gè)詞來形容過去幾年有贊走過的道路的話，摸索，無疑是再合適不過的了。的確，有贊在過去的幾年之中一直都在尋找一種能夠跳脫出以往互聯(lián)網(wǎng)式的發(fā)展模式的方式和方法，雖然這個(gè)過程非常痛苦??，??但是，有贊卻挺了過來。一切的一切都是從有贊開始全面擁抱AI開始的。可以說，AI，給了有贊第二次生命。正是因?yàn)槿绱??，??有贊創(chuàng)始人白鴉才會說??，??有贊將會持續(xù)義無反顧地?fù)肀I??，??以AI來尋找破局之法...

1.概念Kubeflow是一個(gè)機(jī)器學(xué)習(xí)平臺，旨在簡化ML模型的開發(fā)、訓(xùn)練、部署和管理。它提供了一系列工具和組件，包括JupyterNotebook、TFJob、Katib（超參數(shù)調(diào)優(yōu)）、KFServing（模型服務(wù)）等，使用戶可以在Kubernetes集群上輕松運(yùn)行和管理機(jī)器學(xué)習(xí)工作流。Volcano是一個(gè)Kubernetes調(diào)度系統(tǒng)，專為批處理、HPC、AI和大數(shù)據(jù)工作負(fù)載設(shè)計(jì)。它通過提供先進(jìn)的調(diào)度策略、資源公平分配和作業(yè)管理功能，優(yōu)化了資源利用率和任務(wù)執(zhí)行效率。Volca...

Agent智能體系統(tǒng)正在作為通用工具被廣泛研究和應(yīng)用，解決復(fù)雜問題通常需要由多個(gè)組件組成的復(fù)合智能體系統(tǒng)，而手工設(shè)計(jì)的解決方案最終會被學(xué)習(xí)到的更高效的解決方案所取代。為此，提出了自動化設(shè)計(jì)智能體系統(tǒng)（ADAS：AutomatedDesignofAgenticSystems，已開源）的新研究領(lǐng)域，目標(biāo)是自動創(chuàng)建強(qiáng)大的智能體系統(tǒng)設(shè)計(jì)。通過代碼定義整個(gè)智能體系統(tǒng)，并由一個(gè)“元Agent”自動發(fā)現(xiàn)新的智能體，理論上允許ADAS算法發(fā)現(xiàn)任何可能的構(gòu)建塊...

小試牛刀，很懂《三體》戀愛腦云天明！在談?wù)揂I的代碼解析能力之前，我們不妨先看一下它在處理自然語言文本方面的表現(xiàn)。為了測試GLM4Long的理解力，我決定讓它嘗試閱讀并理解我最愛的科幻小說94萬字的《三體》。抽取概括能力作為一個(gè)具有強(qiáng)大理解能力的模型，必須具備從復(fù)雜的文本中抽取出關(guān)鍵的信息，并進(jìn)行總結(jié)。當(dāng)一次性輸入整本小說，模型能有怎樣的表現(xiàn)呢？我決定以《三體》中的戀愛腦云天明為例，我們可以讓模型梳理出云...

譯者布加迪審校重樓一旦你學(xué)到了東西，就很難忘記。可以想象，這個(gè)道理同樣適用于機(jī)器，特別是對于使用數(shù)十億個(gè)參數(shù)進(jìn)行訓(xùn)練的大語言模型（LLM）。在當(dāng)下，大語言模型能夠處理語言或生成以假亂真的圖像，許多未解決的倫理問題繼續(xù)出現(xiàn)：包括OpenAI因使用受版權(quán)保護(hù)的新聞文章來訓(xùn)練其AI模型而被起訴，以及藝術(shù)家們指控科技公司未經(jīng)許可非法使用他們的作品作為訓(xùn)練數(shù)據(jù)。誠然，AI領(lǐng)域的發(fā)展現(xiàn)狀是一個(gè)道德雷區(qū)，這導(dǎo)致了最近所謂...

擴(kuò)散模型是目前生成式AI中的最核心模塊，在Sora、DALLE、Imagen等生成式AI大模型中都取得了廣泛的應(yīng)用。與此同時(shí)，擴(kuò)散模型也被越來越多的應(yīng)用到了時(shí)間序列中。這篇文章給大家介紹了擴(kuò)散模型的基本思路，以及幾篇擴(kuò)散模型用于時(shí)間序列的典型工作，帶你理解擴(kuò)散模型在時(shí)間序列中的應(yīng)用原理。1、擴(kuò)散模型建模思路生成模型的核心是，能夠從隨機(jī)簡單分布中采樣一個(gè)點(diǎn)，并通過一系列變換將這個(gè)點(diǎn)映射到目標(biāo)空間的圖像或樣本上。擴(kuò)散...

文章鏈接：https:arxiv.orgpdf2408.08189項(xiàng)目鏈接：https:360cvgroup.github.ioFancyVideo亮點(diǎn)直擊本文介紹了FancyVideo，據(jù)眾所知的首個(gè)探索T2V任務(wù)中跨幀文本指導(dǎo)的開創(chuàng)性嘗試。該方法為增強(qiáng)當(dāng)前的文本控制方法提供了新的視角。本文提出了跨幀文本指導(dǎo)模塊（CTGM），該模塊構(gòu)建跨幀文本條件，并隨后以強(qiáng)大的時(shí)間合理性引導(dǎo)潛在特征的建模。它可以有效地增強(qiáng)視頻的運(yùn)動性和一致性。本文證明了結(jié)合跨幀文本指導(dǎo)是一種實(shí)現(xiàn)高質(zhì)量...

論文鏈接：https:arxiv.orgpdf2408.05083工程主頁：https:rishubhpar.github.ioPreciseControl.homegit鏈接：https:github.comrishubhparPreciseControl最近，大家看到了一波針對文本到圖像（T2I）擴(kuò)散模型的個(gè)性化方法的興起，這些方法通過少量圖像來學(xué)習(xí)一個(gè)概念。現(xiàn)有的方法在用于人臉個(gè)性化時(shí)，難以實(shí)現(xiàn)具有身份保留的令人信服的反演，并依賴于對生成的人臉進(jìn)行語義文本編輯。然而，人們希望對面部屬性進(jìn)行更細(xì)粒度的控制，...