論文：https:arxiv.orgpdf2404.02905.pdf代碼：https:github.comFoundationVisionVARdemo：https:var.vision視覺自回歸建模（VAR），這是一種重新定義圖像上的自回歸學習的新一代范式。VAR將自回歸學習視為粗到細的“下一尺度預測”或“下一分辨率預測”，與標準的光柵掃描“下一個token預測”有所不同。這種簡單直觀的方法使得自回歸（AR）transformers能夠快速學習視覺分布，并且具有良好的泛化能力：VAR首次使得類似GPT風格...

近日，國內的一款微調框架發布了自己的論文《LLAMAFACTORY:UnifiedEfficientFineTuningof100+LanguageModels》，對他們的框架做了系統性的總結。該框架自推出后迅速出圈，現已斬獲15.6k的star，逐步成為當下微調的首選工具。??https:arxiv.orgpdf2403.13372.pdf??模型微調相較于上下文學習來講，存在比較高的門檻，但又是模型專業化，領域化不可或缺的技術手段。而其復雜性突出表現在這些方面：1）理論基礎，如果說基于大模...

人類智慧的基礎并不在于單個聰明的個體，而在于集體智慧。比如說，我們的社會和經濟體系就是建立在由具有不同專業和專長的不同個人組成的許多機構的基礎上的。SakanaAI團隊相信，人工智能的發展也將遵循類似的集體道路。人工智能的未來不會是一個單一的、巨大的、無所不知的AI系統，需要巨大的能量來訓練、運行和維護；而會是個由許多小型AI系統組成的廣泛集合體，每個系統都有自己的專長，并相互連接，新的AI系統被開發來填補...

本文旨在探索2D批處理規范化在深度學習架構中的關鍵作用，并通過簡單的例子來解釋該技術的內部工作原理。由作者本人創建的圖像深度學習（DL）已經改變了卷積神經網絡（CNN）和生成式人工智能（GenAI）發展的游戲規則。這種深度學習模型可以從多維空間數據（如圖像）中提取復雜的模式和特征，并進行預測。輸入數據中的模式越復雜，模型架構就越復雜。盡管存在很多方法可以加速模型訓練收斂并提高模型推理性能；但是，批量歸一化2...

ChatGPT，再一次打破人們對它的成見！它用自己的優秀表現證明了，很多時候自己看似失敗的表現，只是因為人類不會正確地prompt而已。這位名叫Taelin的程序員、初創公司HigherOrder的創始人表示，下面這個腦筋急轉彎，大多數孩子都能在一分鐘內解決，然而所有的AI卻都慘遭失敗。這也就成了他給GPT「判死刑」的一個鐵證——GPT模型在訓練集之外，沒有任何推理能力。GPT永遠無法實現AGI。7萬億肯定是白燒的，是時候尋找新的算法了。...

使用StabilityAI、Midjourney、OpenAI等公司的圖像生成工具時，用戶經常發現要在生成的圖像中維持角色的一致性是一項挑戰。盡管重復使用相同的提示詞，但AI每次都會根據新輸入的提示生成新內容。這個功能對于需要保持敘事連續性的場景中顯得尤為不足。特別是對于那些需要設計角色，并希望在不同場景中保持同一角色的面部表情和道具一致性的電影、小說或漫畫書創作者來說，這一直是個難題。為了解決這個問題，Midjourney最近引入...

向大家介紹一個最新的AIGC開源項目——AnimagineXL3.1。這個項目是動漫主題文本到圖像模型的最新迭代，旨在為用戶提供更加優化和強大的動漫圖像生成體驗。在AnimagineXL3.1中，開發團隊著重優化了幾個關鍵方面，以確保模型在性能和功能上達到新的高度。首先，他們擴展了訓練數據，不僅包括了之前版本中的游戲角色數據，還將許多其他知名動漫系列的數據納入訓練集中。這一舉措大大豐富了模型的知識庫，使其能夠更全面地理解各種...

最近，多模態大模型（LMM）取得了一系列引人注目的成就，特別是在視覺語言任務上的表現令人矚目。它們的成功不僅展現了多模態大模型在各個領域的實用性和靈活性，也為更多視覺場景下的應用探索了新的道路。盡管如此，在將LMM應用到計算機視覺任務上時，我們仍面臨一個關鍵挑戰：大多數LMM目前只限于文本輸出，這限制了它們在處理更細粒度的視覺任務，如圖像分割方面的能力。此外，圖像分割領域內部的需求多樣化，任務各異——實...

第一個能聽懂你說話的語氣、有“情商”的AI火了！?這個AI名為EVI（EmpathicVoiceInterface），它不僅能夠能夠理解用戶的語氣，還會為每個詞增加意義。對話中的每句話，它都能可視化含驚訝量、含悲傷量、含興奮量……然后根據用戶的聲音信號來變換自己的語音語調，給出高情商回答。EVI發布后，網友再次沸騰，稱其為“語音交互的游戲規則改變者”。知名科技博主，曾是微軟最著名博客人的RobertScoble也下場體驗了，讓EVI講起了笑...

這兩天，一個神秘的“音樂版Sora”產品被盛傳即將發布，Suno和它比起來都不算什么。知情者評價belike：比Suno強兩倍。模型相當強悍。人工智能音樂很快就會席卷全球。（Suno：剛剛火爆的一款AI音樂創作工具，火到200多名音樂人聯名簽公開信抗議）正當大家的胃口被吊得十足之時，這個神秘產品的首批演示泄露了。第一個demo由英偉達工程師BojanTunguz發布，隨后很快刪除，但手快的網友早已存檔。第二個則來自匿名用戶投稿。不得不...

在構建人工智能系統的過程中，數據的質量至關重要，但現實世界中的數據往往充滿了噪聲，甚至被惡意投毒，這給人工智能的發展帶來了巨大的挑戰。如何有效地清洗這些“臟樣本”，以確保模型訓練的準確性和可靠性，成為了一個亟待解決的問題。近期，香港中文大學（深圳）與騰訊AILab的研究團隊在ICLR2024提出了提出了一種通用的數據清洗框架（VDC），利用多模態大模型（MLLM）來識別數據集中的視覺語言不一致性，從而檢測出數據集...

一、Langchain是什么？如今各類AI模型層出不窮，百花齊放，大佬們開發的速度永遠遙遙領先于學習者的學習速度。。為了解放生產力，不讓應用層開發人員受限于各語言模型的生產部署中..LangChain橫空出世界。Langchain可以說是現階段十分值得學習的一個AI架構，那么究竟它有什么魔法才會配享如此高的地位呢？會不會學習成本很高？不要擔心！Langchain雖然功能強大，但其實它就是一個為了提升構建LLM相關應用效率的一個工具，我們也...

1、背景RTPLLM是阿里巴巴大模型預測團隊開發的大模型推理加速引擎，作為一個高性能的大模型推理解決方案，它已被廣泛應用于阿里內部。該引擎與當前廣泛使用的多種主流模型兼容，并通過采用高性能的CUDA算子來實現了如PagedAttention和ContinuousBatching等多項優化措施。RTPLLM還支持包括多模態、LoRA、PTuning、以及WeightOnly動態量化等先進功能。隨著大模型的廣泛應用，如何降低推理延遲并優化成本已成為業界關注的焦點。我...

可縮放矢量圖形（ScalableVectorGraphics，SVG）是用于描述二維圖型和圖型應用程序的基本元素；與傳統的像素圖形不同，SVG使用數學描述來定義圖形，因此可以在任何大小下無損地縮放而不失真。這使得SVG成為網站設計領域的理想選擇，特別是在需要適應不同分辨率和設備的情況下。但是創作者手工設計SVG是高成本并具有挑戰的。最近，隨著CLIP和生成式模型的快速發展，文本引導的矢量圖合成（TexttoSVG）在抽象像素風格[1,2]和矢量...

以國內大模型初創企業主要投資方的身份，騰訊和阿里再次站在了“金主爸爸”的位置。2023年至今，這兩家曾經的投資大戶不約而同地大幅減少了自己的出手次數。據天眼查公開數據，2023年一整年，騰訊投資僅出手33次，平均每月不足3次。而2021年和2022年，騰訊分別投出302筆和91筆。但聚焦在大模型相關領域，騰訊和阿里又是國內最“慷慨”的投資方。早前，知名投資人朱嘯虎在接受騰訊科技訪談時稱：“這些（中國大模型）公司，要場...

在奧斯卡獲獎科幻電影《Her》里，失戀作家愛上了人工智能操作系統“薩曼莎”。聲音性感沙啞、聊天善解人意、陪伴無時不在，并且能夠和用戶進行各種天馬行空的對談，接住所有“懂你”的梗，讓用戶感覺“被理解”、“被看見”，于是AI成了與用戶靈魂高度契合的“soulmate”，滿足孤獨人類社交需求。如今，AIGC技術突破式發展讓科幻成為現實。隨著ChatGPT、Sora、Suno相繼橫空出世，AI社交的底層技術、模式創新都擁有了新變化。以C...

斯坦福的ALOHA家務機器人團隊，發布了最新研究成果——項目名為YellAtYourRobot（簡稱YAY），有了它，機器人的“翻車”動作，只要喊句話就能糾正了！而且機器人可以隨著人類的喊話動態提升動作水平、即時調整策略，并根據反饋持續自我改進。比如在這個場景中，機器人沒能完成系統設定的“把海綿放入袋子”的任務。這時研究者直接朝它喊話，“用海綿把袋子撐得再開一些”，之后就一下子成功了。而且，這些糾正的指令還會被系統記...

OpenAI的秘密武器、ChatGPT背后功臣RLHF，被開源了。來自HuggingFace、加拿大蒙特利爾Mila研究所、網易伏羲AILab的研究人員從零開始復現了OpenAI的RLHFpipeline，羅列了25個關鍵實施細節。最終成功展示了隨著模型大小的增加，響應質量顯著提升的scaling行為，其中2.8B、6.9B的Pythia模型在性能上超過了OpenAI發布的1.3Bcheckpoint。沒有寫在論文中，但被作者在推文中po出來的，還有一個初步的Pythia1.4B實驗，根據GPT4的數據顯...

文本嵌入模型在自然語言處理中扮演著重要角色，為各種文本相關任務提供了強大的語義表示和計算能力。在語義表示上，文本嵌入模型將文本轉換為高維向量空間中的向量表示，其中語義上相似的文本在向量空間中距離較近，從而捕捉了文本的語義信息，這種表示有助于計算機更好地理解和處理自然語言；在文本相似度計算上，基于文本嵌入的向量表示，可以輕松地計算文本之間的相似度，從而支持各種應用，如信息檢索、問答系統和推薦系統...

GPT4V的推出引爆了多模態大模型的研究。GPT4V在包括多模態問答、推理、交互在內的多個領域都展現了出色的能力，成為如今最領先的多模態大模型。然而，近期很多工作發現GPT4V在很多基本能力上卻意外的出現短板。例如，在微軟一篇長達166頁的技術報告《TheDawnofLMMs:PreliminaryExplorationswithGPT4V(ision)》中，作者發現，對于一個不太復雜的圖像中的蘋果數量，GPT4V竟然怎么數也數不對。然而，學術界和工業界尚不清楚導致這...