??從零實現(xiàn)大模型多頭注意力和Transformer????從零實現(xiàn)大模型GPT2預(yù)訓(xùn)練????從零實現(xiàn)大模型GPT2指令微調(diào)??通過前面的預(yù)訓(xùn)練和指令微調(diào)，我們得到了既能續(xù)寫文本，又能遵守指令的GPT2模型。但從GPT的演進路線來看，要達到ChatGPT的水平，除了增加模型參數(shù)、使用更多的數(shù)據(jù)預(yù)訓(xùn)練、更高質(zhì)量的監(jiān)督數(shù)據(jù)指令微調(diào)外，還需要一個重要的技術(shù)手段，那就是RLHF。(RLHF：ReinforcementLearningfromHumanFeedback)：即基于人類...

譯者布加迪審校重樓如今，許多開發(fā)人員和產(chǎn)品團隊使用生成式人工智能（GenAI）代理來幫助構(gòu)建軟件或應(yīng)用程序——真正的創(chuàng)新出現(xiàn)在多代理系統(tǒng)上。就像管弦樂隊可以演奏出豐富復(fù)雜的交響樂，獨奏音樂家只能在一個維度發(fā)出聲音，多代理系統(tǒng)不僅限于以任務(wù)為導(dǎo)向的角色，真正助力開發(fā)和戰(zhàn)略團隊。比如說，梅奧診所、沃達豐和ADT等不同公司的開發(fā)人員使用谷歌的GenAI代理構(gòu)建器在多代理環(huán)境中創(chuàng)建應(yīng)用程序。使用多代理系統(tǒng)（下面會詳...

一、結(jié)論寫在前面論文標題：TaskMeAnything論文鏈接：??https:arxiv.orgpdf2406.11775??項目鏈接：??https:www.taskmeanything.org??大多模態(tài)語言模型（MLMs）的基準現(xiàn)在同時評估模型的通用能力，而不是針對特定能力的評估。因此，當(dāng)開發(fā)者想要確定哪些模型適用于他們的應(yīng)用時，他們會被眾多的基準所淹沒，并且不確定哪個基準的結(jié)果最能反映他們的具體用例。論文介紹了TASKMEANYTHING，一個基準生成引擎，它能夠根據(jù)用...

1.CodeRAGBench是什么？圖片CodeRAGBench是本文作者為檢索增強代碼生成（RetrievalAugmentCodeGeneration，RACG）任務(wù)設(shè)計的一個測試評估基準。構(gòu)建理念來自三個核心要素：?任務(wù)多樣性：代碼生成任務(wù)覆蓋了從代碼行到函數(shù)再到整個代碼庫的不同層面，以及封閉與開放的不同領(lǐng)域。?嚴謹且可復(fù)現(xiàn)的評估機制：提供了精確的文檔標注，以支持檢索評估。?統(tǒng)一的接口設(shè)計：盡管現(xiàn)有數(shù)據(jù)集采用了多樣化的處理流程，代碼庫提供了一個統(tǒng)...

寫在前面以chatgpt為起始節(jié)點的大模型技術(shù)經(jīng)過了兩年左右的發(fā)展，大致沉淀了一些較為確定的研究領(lǐng)域。首先是基座大模型的研究，主要是國內(nèi)外大廠集中大量財力、人力、算力進行大模型軍備競賽，企圖將大模型的基礎(chǔ)能力（包括推理能力）上限逐步提升到更高的層次。當(dāng)然也有一些研究機構(gòu)致力于改進transformer的架構(gòu)或者提出其他更先進的基礎(chǔ)模型結(jié)構(gòu)，在性能或者效率上做文章，例如MOE，Mamba等；多模態(tài)模型，讓大模型同時能夠理...

稀疏自動編碼器（SAE）最近因機器學(xué)習(xí)模型的可解釋性而變得流行（盡管SAE自1997年以來一直存在）。機器學(xué)習(xí)模型正在使LLMs變得越來越強大和有用，但它們?nèi)匀皇呛谙蛔?，如何看穿LLM的靈魂，且若能理解它們是如何工作的，那對于大模型的進化有足夠的幫助和啟示意義。使用SAE，可以開始將模型的計算分解為可理解的組件。本文將簡介的介紹下SAE的工作原理，然后讀者可以回頭去溫習(xí)“大模型的靈魂解讀：AnthropicAI的Claude3Sonnet可...

作者FabianBoth編輯伊風(fēng)為什么我們不再使用LangChain來構(gòu)建我們的AI代理AIagents？在Octomind，我們使用多個大型語言模型（LLM）的AI代理來自動創(chuàng)建和修復(fù)Playwright中的端到端測試。直到幾個月前，我們還在使用LangChain框架。在這篇文章中，我將分享我們使用LangChain時遇到的困難，并解釋為什么用模塊化的構(gòu)建塊替換其僵化的高級抽象后，我們的代碼庫變得更簡潔，使我們的團隊更快樂、更高效。1.背景故事我們在生產(chǎn)中使用Lan...

整理丨諾亞出品51CTO技術(shù)棧（微信號：blog51cto）昨天，“楊冪論文查重率”的詞條快速爬上微博熱搜。如今該詞條的閱讀量已經(jīng)達到1.3億。截圖來自：微博這次事件起始于楊冪刊登在《中國廣播電視學(xué)刊》的一篇文章。當(dāng)明星開始與學(xué)術(shù)、論文等關(guān)鍵詞掛鉤，隨之而來的質(zhì)疑都是可以想象的。隨著輿論擴大，質(zhì)疑持續(xù)發(fā)酵。甚至有網(wǎng)友直接將上述文章進行了論文查重，發(fā)現(xiàn)查重率“只有0.9%”。引用某位吃瓜群眾的話，“查重率太高是抄襲，...

LLM善于偽裝欺騙人類，已經(jīng)成為不爭的事實。比如，PANS論文曾曝出GPT4欺騙人類高達99.16%驚人率，MIT還發(fā)現(xiàn)AI還會背刺人類盟友，佯攻擊敗99.8%玩家。如今，更進一步地，大模型能夠從不誠實的行為中，還會衍生出更嚴重的不當(dāng)行為。諸如有預(yù)謀地說謊，甚至直接修改自身的獎勵機制，俗稱自己把自己「黑了」。下面這兩個例子，很好地說明了這點。在左邊的「規(guī)范游戲」示例中，用戶要求LLM給附上的詩文打分（15分），5分代表足以進入...

從正義英雄到邪惡反派，生物合成機器人一直都是許多科幻作品的主角?？苹妹阅銊　墩鎸嵉娜祟悺放畽C器人安妮塔。在服務(wù)行業(yè)，類人機器人經(jīng)常被要求與人類互動，看起來像人一樣，「真實」則是它們的首要任務(wù)之一。因為像人一樣的外表可以提高溝通效率，讓人產(chǎn)生好感。雖然目前機器人的硅膠皮膚可以模仿人類的外觀，但它在皺紋等細膩紋理方面做得不夠，也缺乏皮膚特有的功能。為機器人制造活皮膚的嘗試也僅取得了有限的成功。25日...

知名大模型平臺TogetherAI開源了一個創(chuàng)新框架MixtureofAgents（簡稱，MoA）。MoA可以顯著提升大模型的生成內(nèi)容的能力和安全性，同時降低對AI算力的需求。研究人員在AlpacaEval2.0、MTBench和FLASK等多個基準上進行了全面評測，涵蓋了從無害性、魯棒性、效率、可讀性、事實性等多個維度。結(jié)果顯示，MoA在AlpacaEval2.0上以65.1%的得分，擊敗了OpenAI的GPT4o（57.5%），并且在使用開源大模型的條件下，仍然保持了明顯的優(yōu)勢。也就...

譯者布加迪審校重樓無論你是軟件開發(fā)新手還是擁有幾十年的豐富經(jīng)驗，總是需要學(xué)習(xí)新知識。TIOBEIndex追蹤50種最受歡迎的編程語言，許多生態(tài)系統(tǒng)為職業(yè)發(fā)展和橫向轉(zhuǎn)型提供了機會。鑒于現(xiàn)有技術(shù)具有的廣度，抽空學(xué)習(xí)一項新技能并有效運用技能可能困難重重。最近我一直在嘗試學(xué)習(xí)Rust語言，這是一種注重性能、可靠性和生產(chǎn)力的類型安全語言。我在此過程中學(xué)到了使用AI編程助手的若干技巧，想與你分享，以改善你的學(xué)習(xí)體驗。文章最...

出品51CTO技術(shù)棧（微信號：blog51cto）大模型們的競爭愈發(fā)擁擠。中國10億參數(shù)規(guī)模以上的大模型數(shù)量已超過100個。國內(nèi)基礎(chǔ)大模型公司目前進入到搶占市場的關(guān)鍵時期，現(xiàn)在不做用戶獲取，未來只會更加困難。此時OpenAIAPI在國內(nèi)市場的禁用，頗有“一鯨落而萬物生”的意味。國內(nèi)大模型廠商紛紛推出了自己的遷移方案，通過優(yōu)惠、免費服務(wù)和技術(shù)支持花式吸引用戶。大模型服務(wù)商被再次拉到起跑線上賽跑，誰能用最誘人的方案獲得用戶放...

引言：AI模型的奧林匹克級評測評估和比較不同AI模型的性能始終是一個核心話題。隨著技術(shù)的不斷進步，這些模型在處理復(fù)雜任務(wù)的能力上有了顯著的提升。為了更精確地衡量這些先進模型的能力，Huang等人在2024年引入了一個全新的、類似奧林匹克的多學(xué)科、多模態(tài)評測平臺——OlympicArena。這一平臺設(shè)計了包括11,163個雙語問題，涵蓋文本和圖像交錯的模態(tài)，跨越七個常見學(xué)科和62個國際奧林匹克競賽，嚴格檢查數(shù)據(jù)泄露問題，旨在推動...

1.概念自2018年GPT2的問世以來，大語言模型（LLM）如GPT系列逐漸發(fā)展壯大，尤其是GPT3及其后續(xù)版本的推出，性能方面顯著提升。這些模型的強大能力催生了眾多應(yīng)用，如客戶服務(wù)的聊天機器人、多語言翻譯服務(wù)和輔助寫作編程的工具等。面對LLM在實際應(yīng)用中的獨特挑戰(zhàn)，業(yè)界發(fā)展出了新的工具和最佳實踐，以更有效地管理這些模型的整個應(yīng)用生命周期，這一進程的集合即為“LLMOps”。LLMOps（LargeLanguageModelOperations）定義為大語...

檢索增強生成（RAG）將檢索階段與生成階段結(jié)合起來，后者通常由大型語言模型（LLMs）驅(qū)動，RAG中的當(dāng)前常見實踐是使用“指導(dǎo)”的LLMs，這真的是最優(yōu)選擇嗎？對RAG系統(tǒng)中的“instruct”模型及其模板與基礎(chǔ)版本（base）進行了原則性評估。這些“instruct”模型通常經(jīng)過監(jiān)督訓(xùn)練來提高遵循指令的能力，并使用最先進技術(shù)與人類偏好對齊。使用了兩個任務(wù)指令來評估模型，任務(wù)指令I(lǐng)要求模型從未提供的文檔中提取答案，任務(wù)指令I(lǐng)I要求...

隨著人工智能技術(shù)的飛速發(fā)展，計算機視覺領(lǐng)域迎來了一個又一個里程碑式的突破。其中，實時目標檢測作為計算機視覺的重要分支，更是取得了舉世矚目的成就。在眾多實時目標檢測模型中，YOLO系列憑借其卓越的性能和廣泛的應(yīng)用場景，一直是業(yè)界的佼佼者。而今天，我們將要探討的，正是YOLO系列中的最新成員——YOLOv9。一、引言在深度學(xué)習(xí)的浪潮中，目標檢測任務(wù)一直是一個備受關(guān)注的研究方向。而YOLO（YouOnlyLookOnce）系列模型自...

作者剛剛跟ChatGPT就供應(yīng)鏈數(shù)字化的一些問題探討了一下，被ChatGPT的現(xiàn)有能力所震撼。一句總結(jié)：或許量變已經(jīng)引起質(zhì)變，ChatGPT將會是強大的知識輔助工具與真正意義上的專家系統(tǒng)，有非常美好的商業(yè)化應(yīng)用潛力。幾點觀察：1.雖然目前LLM的后端技術(shù)仍然是Transformer,attention,沒有神奇之處，但作者猜測LLM會否已經(jīng)量變達成質(zhì)變，他看到的語料太多了。好比打網(wǎng)球，100小時和10000小時會有本質(zhì)區(qū)別。2.互聯(lián)網(wǎng)上的數(shù)據(jù)不都是大樣本...

作為AI領(lǐng)域的杰出人物，吳恩達教授對編程Agent的興起表示了極大的興趣。他認為，編程Agent有潛力通過自動執(zhí)行繁瑣的任務(wù)、提高代碼質(zhì)量和加速開發(fā)周期來徹底改變軟件開發(fā)行業(yè)。本文將深入探討吳恩達對編程Agent的見解，多代理系統(tǒng)質(zhì)量保證LDB調(diào)試測試Agent專用研發(fā)工作流程等關(guān)鍵概念。通過實際案例和深入分析，我們將探索這些技術(shù)如何協(xié)同工作，使編程Agent能夠以更高的效率和有效性構(gòu)建軟件。通過多代理系統(tǒng)實現(xiàn)開發(fā)與測試的...

日前，曠視科技發(fā)布了一項新的開源AI人像視頻生成框架——MegActor?；谠摽蚣?，用戶只需輸入一張靜態(tài)的肖像圖片，以及一段視頻（演講、表情包、rap）文件，即可生成一段表情豐富、動作一致的AI人像視頻。MegActor所生成的視頻長度，取決于給定的驅(qū)動視頻的長度。與阿里EMO、微軟VASA等最新涌現(xiàn)的AI視頻模型不同，曠視MegActor將采用開源的方式，提供給開發(fā)者社區(qū)使用。MegActor能夠呈現(xiàn)出絲毫畢現(xiàn)的效果，面部細節(jié)更加豐富自...