文章鏈接：https:arxiv.orgpdf2405.04312github鏈接：https:github.comTHUDMInfDiT擴散模型在近年來的圖像生成中表現(xiàn)出了顯著的性能。然而，由于生成超高分辨率圖像（如4096×4096）時內(nèi)存需求呈二次方增加，生成圖像的分辨率通常限制在1024×1024。本文提出了一種單向塊注意力機制，可以在推理過程中自適應(yīng)地調(diào)整內(nèi)存開銷并處理全局依賴關(guān)系。基于這個模塊，本文采用DiT結(jié)構(gòu)進(jìn)行上采樣，并開發(fā)了一種能夠?qū)Ω鞣N形狀和分辨率的...

編者按：大語言模型擁有令人驚嘆的語言理解和生成能力，卻也存在自主決策、與外部系統(tǒng)交互等方面的不足。函數(shù)調(diào)用（FunctionCalling）技術(shù)的出現(xiàn)，正是為解決這一難題而生的創(chuàng)新方案，它賦予了大語言模型更強的自主能力和與外部世界連接的能力，成為實現(xiàn)真正智能自主Agent的關(guān)鍵一環(huán)。本期我們精心為各位讀者伙伴呈現(xiàn)一篇詳實的搭建技術(shù)教程，全面介紹了如何利用函數(shù)調(diào)用技術(shù)構(gòu)建AutonomousAIAgents。作者從函數(shù)調(diào)用（FunctionC...

不同于互聯(lián)網(wǎng)上隨處可見的傳統(tǒng)問題庫，這些問題需要跳出常規(guī)思維。大語言模型(LLM)在數(shù)據(jù)科學(xué)、生成式人工智能(GenAI)和人工智能領(lǐng)域越來越重要。這些復(fù)雜的算法提升了人類的技能，并在諸多行業(yè)中推動了效率和創(chuàng)新性的提升，成為企業(yè)保持競爭力的關(guān)鍵。然而，盡管GenAI和LLM越來越常見，但我們依然缺少能深入理解其復(fù)雜性的詳細(xì)資源。職場新人在進(jìn)行GenAI和LLM功能以及實際應(yīng)用的面試時，往往會覺得自己像是陷入了未知領(lǐng)域。為...

今天給大家介紹兩篇經(jīng)典的工作，這兩篇工作都是針對推薦系統(tǒng)中排序模型的優(yōu)化，方法有一些相似之處，都是利用門控網(wǎng)絡(luò)對底層特征進(jìn)行交叉。最關(guān)鍵的在于，這類方法已經(jīng)在很多真實業(yè)務(wù)場景中被驗證效果顯著，非常值得還沒有應(yīng)用這類方法的同學(xué)進(jìn)行嘗試。1.MaskNet論文標(biāo)題：MaskNet:IntroducingFeatureWiseMultiplicationtoCTRRankingModelsbyInstanceGuidedMask下載地址：??https:arxiv.orgabs2102.07619??MaskNet是2021年...

近日，網(wǎng)上流傳一份ilya推薦給JohnCarmack的閱讀清單，該清單包含了當(dāng)今與AI相關(guān)30篇頂級文章，并稱如果真的將它們讀完，就能理解當(dāng)下90%的AI技術(shù)。下面筆者帶大家速覽這40篇文章內(nèi)容概要。1）AttentionIsAllYouNeed不解釋了，transformer開山論文，不得不看。地址：https:arxiv.orgpdf1706.037622）TheAnnotatedTransformer該文章是由康奈爾大學(xué)副教授AlexanderRush等研究者在2018年撰寫的博客文章，該文章對transformer進(jìn)行了...

一、第一重境界：當(dāng)作能理解語義的API使用Agent智能體第一重境界，可以把大型語言模型看成一個特別的API，它能讀懂人類語言。就像我們平時調(diào)用其他API那樣，我們向智能體提問，它就能給出經(jīng)過自己思考的答案。這個階段的智能體，通常是把這種讀心術(shù)般的語言理解力融入到標(biāo)準(zhǔn)的軟件流程中，給軟件添加智慧升級。它的作用主要圍繞著理解并處理文字，比如：生成文本、做內(nèi)容概括等，這些都離不開它強大的語言理解能力。工作起來，...

1、Llama3的RAG增強以下Github鏈接展示了從頭開始使用LangGraph和Llama38B構(gòu)建可靠的智能體。它將3種先進(jìn)RAG技術(shù)（自適應(yīng)RAG、糾正性RAG和自我RAG）的思想結(jié)合起來，形成LangGraph中的單一控制流程。https:github.comlangchainailanggraphblobmainexamplesraglanggraphragagentllama3local.ipynb方式一：自適應(yīng)RAG路由，將問題路由到不同的檢索方法。方式二：糾正性RAG后備方案，如果文檔與查詢不相關(guān)，則回退到網(wǎng)頁搜索WebBrow...

架構(gòu)師的核心能力是面對不同的業(yè)務(wù)場景給出合適的架構(gòu)設(shè)計方案，Balance平衡設(shè)計就是架構(gòu)師最重要的能力，沒有之一。在AI大模型時代，AI大模型正在重新定義軟件的范式。在當(dāng)前，世界正在重新定義軟件的背景下，作為一名架構(gòu)師應(yīng)該如何應(yīng)對？面臨哪些機會和挑戰(zhàn)？本文來做一些探討。1、AI大模型是新質(zhì)生產(chǎn)力對程序員來說，我們現(xiàn)在正經(jīng)歷著時代的大轉(zhuǎn)折。就好比以前馬車時代，馬是最重要的動力來源；到了汽車時代，汽車就成了主...

架構(gòu)設(shè)計模式已成為程序員的重要技能。然而，當(dāng)我們轉(zhuǎn)向大模型應(yīng)用領(lǐng)域，情況可能會有所不同。面對新興技術(shù)，比如：生成式AI，我們尚缺乏成熟的設(shè)計模式來支撐這些解決方案。根據(jù)多年的架構(gòu)設(shè)計經(jīng)驗，我在這里整理總結(jié)了一些針對大模型應(yīng)用的設(shè)計方法和架構(gòu)模式，試圖應(yīng)對和解決大模型應(yīng)用實現(xiàn)中的一些挑戰(zhàn)，比如：成本問題、延遲問題以及生成的幻覺等問題。1、路由分發(fā)架構(gòu)模式當(dāng)用戶輸入一個Prompt查詢時，該查詢會被發(fā)送到路...

本文介紹RAG(檢索增強生成)技術(shù)并基于LangChain框架的自查詢檢索器來開發(fā)一個實戰(zhàn)型電影推薦系統(tǒng)。引言最近，我在瀏覽Max.com網(wǎng)站時想找一部電影看。通常，這個過程包括瀏覽系統(tǒng)呈現(xiàn)給我的各種列表，閱讀一些相關(guān)描述，然后挑選一些看起來有趣的電影。如果我知道我想看的電影的片名或我喜歡的演員的名字，我通常只會點擊搜索功能。否則，搜索就沒有多大用處了。現(xiàn)在，我突然想到了一個新的想法：為什么我不能用自然語言來查找一...

剛剛，Anthropic宣布在理解人工智能模型內(nèi)部運作機制方面取得重大進(jìn)展。Anthropic已經(jīng)確定了如何在ClaudeSonnet中表征數(shù)百萬個概念。這是對現(xiàn)代生產(chǎn)級大型語言模型的首次詳細(xì)理解。這種可解釋性將幫助我們提高人工智能模型的安全性，具有里程碑意義。研究論文：https:transformercircuits.pub2024scalingmonosemanticityindex.html當(dāng)前，我們通常將人工智能模型視為一個黑匣子：有東西進(jìn)去就會有響應(yīng)出來，但不清楚為什么模型會...

「這份訪談的每一秒都是精華。」最近，圖靈獎得主GeoffreyHinton的一個訪談視頻得到了網(wǎng)友的高度評價。視頻鏈接：https:www.youtube.comwatchvtP4njhyGvo&t660s在訪談中，Hinton談到了很多話題，包括當(dāng)前大模型的技術(shù)路線、多模態(tài)學(xué)習(xí)的重要性、數(shù)字計算與共享知識、智能系統(tǒng)的意識與情感以及他的合作者和優(yōu)秀學(xué)生……Hinton認(rèn)為，大型語言模型通過尋找不同領(lǐng)域的共同結(jié)構(gòu)來進(jìn)行編碼，這種能力使它們能夠壓縮信息并形成深層次的...

辛辛苦苦給大語言模型輸入了一大堆提示，它卻只記住了開頭和結(jié)尾？這個現(xiàn)象叫做LLM的中間迷失（LostintheMiddle），是大模型當(dāng)前仍面臨的最大挑戰(zhàn)之一。畢竟，LLM現(xiàn)在的上下文長度已經(jīng)沖到了百萬級別，而難以處理中間的信息，會使得LLM在評估大量數(shù)據(jù)時不再可靠。Midjourney對于LostintheMiddle的理解其實，我們?nèi)祟愐灿蓄愃啤钢虚g迷失」的毛病，心理學(xué)上叫「Primacyrecencyeffect」，感興趣的讀者可以參見：??https:www.scie...

AI生產(chǎn)力的革命，微軟怎會缺席？在今天的開發(fā)者大會上，曾經(jīng)誓要「顛覆」10億打工人的Copilot，依然是全程的主角。沒想到70年后，還是要靠微軟重新定義軟件不僅有Copilot加持的全新AIPC，日常生活助手Copilot，還有為全世界開發(fā)者提供的AI工具堆棧。更驚喜的是，SamAltman竟然在發(fā)布會的最后，被CTOKevinScott請上了臺！兩人開場先是一波寒暄，然后共同感慨，這簡直是瘋狂的一周，瘋狂的一年！針對前段時間的OpenAI離職潮，奧特...

編輯伊風(fēng)出品51CTO技術(shù)棧（微信號：blog51cto）昨天，微軟震撼發(fā)布的Copilot+PC，被大贊終于是真正的AIPC了！今天，在AI領(lǐng)域里拳打谷歌，腳踢蘋果的微軟又在build大會中狠狠地秀了一把肌肉。宣布要將Windows打造成人工智能最開放的平臺和開發(fā)人員的最佳場所！圖片畢竟是一場總計更新60+產(chǎn)品和解決方案的大會，今天的高亮就有不少：GitHubCopilot可擴展性的體驗，尤其是面向企業(yè)用戶對協(xié)作能力進(jìn)行了提升AzureAI中的新前沿模型和...

整理丨諾亞出品51CTO技術(shù)棧（微信號：blog51cto）當(dāng)下，AI的崛起已成大勢。但是，當(dāng)AI的觸角伸向開源操作系統(tǒng)時，一些社區(qū)陸續(xù)亮起了“紅燈”。先是Linux發(fā)行版Gentoo在四月中旬發(fā)布了一項理事會政策，禁止使用AI工具生成的代碼；隨后，類UNIX操作系統(tǒng)NetBSD也于五月通過更新其提交指南，添加了類似規(guī)定。短短一個月間，Gentoo和NetBSD的明確表態(tài)引發(fā)了廣泛的討論：在AI的輔助下，我們真的能寫出更好的代碼嗎？這些禁令的發(fā)布僅...

剛剛迎來人體試驗100天的Neuralink，卻傳來了讓人意外的消息。這家由科技巨匠馬斯克創(chuàng)立的腦機接口公司，其植入人類大腦的首個侵入式大腦芯片，竟然出現(xiàn)了故障。該公司在一篇博客中透露，他們嵌入人類大腦的首個侵入式大腦芯片出現(xiàn)故障，神經(jīng)元監(jiān)視線似乎已從參與者的大腦中脫落。究竟是什么原因?qū)е逻@些線從大腦中脫落？脫落了多少根連接線？這些移位線是否對人體構(gòu)成安全威脅？目前，這些問題都還沒有明確的答案。但這一事件...

在模擬中學(xué)習(xí)并將學(xué)到的策略轉(zhuǎn)移到現(xiàn)實世界有潛力實現(xiàn)通用型機器人。這種方法的關(guān)鍵挑戰(zhàn)是解決模擬到現(xiàn)實（simtoreal）之間的差距。先前的方法通常需要先驗的領(lǐng)域特定知識。研究人員認(rèn)為獲得這種知識的一種簡單方法是讓人類觀察并協(xié)助機器人在現(xiàn)實世界中執(zhí)行策略。然后機器人可以從人類那里學(xué)習(xí)以消除各種模擬到真實的差距。研究人員提出了TRANSIC，這是一種基于人機協(xié)作框架的數(shù)據(jù)驅(qū)動方法，以實現(xiàn)成功的模擬到真實轉(zhuǎn)移。TRANS...

目前人們好像已在接受這樣的觀點：“大語言模型(LLMs)正在以指數(shù)速度進(jìn)步。”就在幾天前，賓州大學(xué)沃登商學(xué)院（TheWhartonSchool)的EthanMollick教授在一篇廣受關(guān)注的博客文章中聲稱，“目前對LLMs的能力評估顯示，LLM的能力每5到14個月翻一番”。實際上Mollick教授引用的研究并未顯示他所聲稱的內(nèi)容。如果你仔細(xì)閱讀，它沒有提到能力的提高。它顯示的是模型在達(dá)到給定性能水平所需的計算資源變得更有效率，“達(dá)到給定性能水平...

生成式人工智能已經(jīng)觸及峰頂了嗎？在大模型正火的時候提這個問題，似乎不合時宜。畢竟，隨著數(shù)據(jù)和模型規(guī)模的增大、計算能力的增加，我們似乎不再懷疑擁有超強人工智能的未來。——但是！來自UniversityofTübingen、劍橋和牛津大學(xué)的最新研究，用實驗告訴我們：沒有指數(shù)級數(shù)據(jù)，就沒有Zeroshot！論文地址：https:arxiv.orgpdf2404.04125換句話說，模型要想達(dá)到AGI水平，所需的訓(xùn)練數(shù)據(jù)量是我們無法提供的。根據(jù)實驗數(shù)據(jù)，模型...