出品51CTO技術(shù)棧（微信號：blog51cto）SamAltman最近提出了“通用基礎(chǔ)計算”，即每個人都可以訪問GPT7的一部分計算資源。奧特曼在最近一期的Allin播客中說：“我想知道未來看起來是否更像通用基本計算，而不是通用基本收入，每個人都像GPT7計算的一部分。”他說，這不會以金錢的形式出現(xiàn)，而是作為生產(chǎn)力的一部分，可以用于、出售，甚至捐贈給癌癥研究等項目。奧特曼表示，他們在2016年左右開始探索全民基本收入（UBI）。“大約...

本文試圖通過一個有趣的原創(chuàng)項目，利用Quarkus和LangChain4j來揭開LLM在Java中使用的神秘面紗。自從2022年11月公開發(fā)布以來，ChatGPT吸引了大量用戶，這種人工智能模型不僅提高了他們的創(chuàng)造力，也激發(fā)了技術(shù)愛好者對其可能存在的缺點甚至弱點的關(guān)注。ChatGPT以及類似的聊天機(jī)器人是被稱為大型語言模型(LLM)的一種特殊類型的軟件，它極大地改變了自然語言處理(NLP)領(lǐng)域，以提供更新和不太常見的任務(wù)，例如問答、文本生成和摘要等...

引言隨著人工智能技術(shù)的飛速發(fā)展，Agent（智能體）的概念已經(jīng)從科幻小說走進(jìn)了現(xiàn)實世界。Agent可以被理解為一種具有一定智能的軟件實體，它能夠自主地執(zhí)行任務(wù)、做出決策并與其他系統(tǒng)交互。在AI技術(shù)公眾號的運營過程中，我們收到了許多關(guān)于Agent開發(fā)的咨詢，因此，本文將從技術(shù)角度出發(fā)，為大家解析這三個階段的演進(jìn)方式，并各自提供一個代碼demo案例，為新手程序員提供一份Agent開發(fā)的指南。Demo地址：https:github.comq2wxecl...

隨著深度學(xué)習(xí)大語言模型的越來越火爆，大語言模型越做越大，使得其推理成本也水漲船高。模型量化，成為一個熱門的研究課題。近日，字節(jié)跳動語音團(tuán)隊推出一個全新的量化思路，拋棄傳統(tǒng)的量化范式，從數(shù)學(xué)優(yōu)化的角度來對量化任務(wù)建模。文章放在了arXiv，代碼已經(jīng)開源，可以一鍵復(fù)現(xiàn)文中的所有結(jié)果：論文鏈接：https:arxiv.orgabs2404.12759項目鏈接：https:github.combytedancedecoupleQW2算子：https:github.comNVIDIATensorRTLL...

最近，網(wǎng)友們被一款傳說中的最丑AI生圖神器刷屏了。無論是表情包、網(wǎng)絡(luò)梗圖，還是熱門電影，或是自家寵物，包括你想得到的和想不到的，都變成了粘土風(fēng)格。地鐵老爺爺看手機(jī)，忽然有了實體。《請回答1988》里這張佛系表情包，簡直抓住了原片精髓。奧本海默，變成黏土風(fēng)后依然氣質(zhì)滿滿。《重慶森林》的經(jīng)典場景再現(xiàn)了。梵高自畫像的黏土版，別有一番風(fēng)味。戴珍珠耳環(huán)的少女，表情莫名地囧了起來。總之，這款工具，主打的就是要平...

眾所周知，大語言模型的訓(xùn)練常常需要數(shù)月的時間，使用數(shù)百乃至上千個GPU。以LLaMA270B模型為例，其訓(xùn)練總共需要1,720,320GPUhours。由于這些工作負(fù)載的規(guī)模和復(fù)雜性，導(dǎo)致訓(xùn)練大模型存在著獨特的系統(tǒng)性挑戰(zhàn)。最近，許多機(jī)構(gòu)在訓(xùn)練SOTA生成式AI模型時報告了訓(xùn)練過程中的不穩(wěn)定情況，它們通常以損失尖峰的形式出現(xiàn)，比如谷歌的PaLM模型訓(xùn)練過程中出現(xiàn)了多達(dá)20次的損失尖峰。數(shù)值偏差是造成這種訓(xùn)練不穩(wěn)定性的潛在原因，由于大語言...

RichardSutton在「TheBitterLesson」中做過這樣的評價：「從70年的人工智能研究中可以得出的最重要教訓(xùn)是，那些利用計算的通用方法最終是最有效的，而且優(yōu)勢巨大。」自我博弈（selfplay）就是這樣一種同時利用搜索和學(xué)習(xí)從而充分利用和擴(kuò)大計算規(guī)模的方法。今年年初，加利福尼亞大學(xué)洛杉磯分校（UCLA）的顧全全教授團(tuán)隊提出了一種自我博弈微調(diào)方法(SelfPlayFineTuning,SPIN)，可不使用額外微調(diào)數(shù)據(jù)，僅靠自我博弈就能大幅提升LL...

整理伊風(fēng)出品51CTO技術(shù)棧（微信號：blog51cto）Google&Alphabet（谷歌母公司）CEOSundarPichai（下稱皮查伊）的最新采訪出爐！提問精彩非常，幾個問題絲滑地勾勒出：谷歌帝國的現(xiàn)狀與人工智能的未來！彭博社出鏡記者EmilyChang（下稱艾米麗）犀利的提問風(fēng)格直切要害。大到谷歌是否在這波AI技術(shù)潮流中暫時落隊，小到皮查伊本人過于謹(jǐn)慎、保守的領(lǐng)導(dǎo)風(fēng)格是否是谷歌帝國最合適的“老大"人選，進(jìn)行了剝繭抽絲般的盤問。圖片一系列問...

編譯伊風(fēng)出品51CTO技術(shù)棧（微信號：blog51cto）編者按：資深開發(fā)者詹姆斯·拉米雷茲長文分享，講述了他使用ChatGPT學(xué)習(xí)Go語言，導(dǎo)航KolideAPI并構(gòu)建復(fù)雜的Steampipe插件的經(jīng)驗。在這個過程中，他深化了對AI輔助編程的認(rèn)識。開發(fā)者（包括我自己在內(nèi)）更喜歡邊做邊學(xué)。這是我與LLM合作的指導(dǎo)原則之一，也可以說是最重要的一項：因為你在面向任務(wù)的教學(xué)時刻中獲取知識，學(xué)習(xí)不是前瞻性的——它是即時的和可觸摸的。當(dāng)一位經(jīng)驗豐富...

編者按：當(dāng)前，大語言模型已經(jīng)成為自然語言處理領(lǐng)域的熱點。LLMs是否真的“智能”？它們又為我們帶來了哪些啟發(fā)？針對這些問題，DarveenVijayan為我們帶來了這篇引人深思的文章。作者主要闡釋了兩個觀點：第一，LLMs應(yīng)被視為一種文字計算器，它通過預(yù)測下一個詞來工作，當(dāng)前階段還不應(yīng)被歸為“智能”。第二，盡管LLMs目前存在局限，但它們?yōu)槲覀兲峁┝朔此既祟愔悄鼙举|(zhì)的契機(jī)。我們應(yīng)保持開放的思維，不斷追逐新的知識和對知識...

前言本文基于前期介紹的電力變壓器，介紹一種基于CNNLSTM網(wǎng)絡(luò)的多步預(yù)測模型。1、電力變壓器數(shù)據(jù)預(yù)處理與可視化1.1導(dǎo)入數(shù)據(jù)1.2多步預(yù)測預(yù)處理2、基于CNNLSTM的多步預(yù)測模型2.1定義CNNLSTM網(wǎng)絡(luò)模型2.2設(shè)置參數(shù)，訓(xùn)練模型50個epoch，MSE為0.000311，CNNLSTM多步預(yù)測模型預(yù)測效果顯著，模型能夠充分提取序列的時空特征，收斂速度快，性能優(yōu)越，預(yù)測精度高，適當(dāng)調(diào)整模型參數(shù)，還可以進(jìn)一步提高模型預(yù)測表現(xiàn)。注意調(diào)整參數(shù)：可以適...

今天給大家介紹一篇ICLR2024的杰出論文，這篇文章深入探討了自監(jiān)督預(yù)訓(xùn)練對于使用Transformer進(jìn)行長序列建模的重要性。論文標(biāo)題：NeverTrainfromScratch:FAIRCOMPARISONOFLONGSEQUENCEMODELSREQUIRESDATADRIVENPRIORS下載地址：??https:arxiv.orgpdf2310.02980??1、背景介紹在一些長序列建模數(shù)據(jù)集benchmark中，例如LongRangeArena，使用RNN或者SSM這種基礎(chǔ)的序列模型效果要顯著優(yōu)于Transformer模型。然而，文中提出這種評...

論文鏈接：https:arxiv.orgpdf2405.03485代碼&數(shù)據(jù)集鏈接：https:github.comLSunLGTM今天和大家一起學(xué)習(xí)下文本生成動作方面最新的研究成果：LGTM，一種新穎的用于文本到動作生成的局部到全局pipeline。LGTM基于擴(kuò)散的架構(gòu)，旨在解決將文本描述準(zhǔn)確轉(zhuǎn)換為計算機(jī)動畫中語義連貫的人體動作的挑戰(zhàn)。具體而言，傳統(tǒng)方法通常難以處理語義差異，特別是在將特定動作與正確的身體部位對齊方面存在困難。為解決這個問題，本文提出了一個兩...

還記得四個月前我們發(fā)布的LangChain首個穩(wěn)定版嗎？今天，我們繼續(xù)這一進(jìn)步，帶來了langchainv0.2的預(yù)發(fā)布版。這個新版本不僅在v0.1的基礎(chǔ)上進(jìn)行了改進(jìn)，還吸納了社區(qū)的反饋。以下是v0.2版本的主要亮點：實現(xiàn)了社區(qū)熱切期待的langchain與langchaincommunity的完全分離。引入了新版（而且是有版本控制的！）文檔。提供了一個更加成熟和可控的代理框架。對大型語言模型（LLM）的接口進(jìn)行了標(biāo)準(zhǔn)化改進(jìn)，特別是在工具調(diào)用方面。增強(qiáng)...

芝麻粒大小的人腦組織，突觸規(guī)模就相當(dāng)于一個GPT4！谷歌與哈佛聯(lián)手，對局部人腦進(jìn)行了納米級建模，論文已登Science。這是迄今為止最大、最詳細(xì)的人腦復(fù)制品，首次展示出了大腦中的突觸連接網(wǎng)絡(luò)。憑借超高分辨率，這個名為H01的重建，已經(jīng)揭示了一些以前未曾見過的關(guān)于人類大腦的細(xì)節(jié)。項目通訊作者、哈佛大學(xué)Lichtman教授介紹說，在此之前，沒有人真正看到過這樣復(fù)雜的突觸網(wǎng)絡(luò)。這一建模成果，將有助于更深入地了解大腦的運作...

上個月，我們被這位植入腦機(jī)接口后，狂打了8小時「文明6」的小哥震撼了。??作為首位植入腦機(jī)接口的患者，這位名叫NolanArbaugh的小哥，可以僅憑意念控制計算機(jī)下棋，科幻果然成真了？??100天過去了，他還好嗎？就在今天，Neuralink來交卷了！剛剛，首位「腦機(jī)接口」患者臨床試驗報告發(fā)布。馬斯克自豪地在推特上轉(zhuǎn)發(fā)了這一消息，讓腦機(jī)接口「造福人類」的承諾，看來是要實現(xiàn)了。Noland迎來新生之前我們知道，Noland在那里接...

傳統(tǒng)上，大型語言模型（LLMs）被認(rèn)為是順序解碼器，逐個解碼每個token。來自上海交通大學(xué)、加利福尼亞大學(xué)的研究團(tuán)隊展示了預(yù)訓(xùn)練的LLMs可以輕松地被教導(dǎo)成為高效的并行解碼器，并介紹了一種新的并行解碼器族，稱為一致性大語言模型（CLLMs），能夠通過在每個推斷步驟中高效地解碼一個ntoken序列來降低推斷延遲。在此篇論文中，研究表明：「模仿人類在頭腦中形成完整句子后逐字表達(dá)的認(rèn)知過程，可以通過簡單地微調(diào)預(yù)訓(xùn)練的LLMs...

ControlNet作者新作，玩兒得人直呼過癮，剛開源就攬星1.2k。用于操縱圖像照明效果的ICLight，全稱lmposingConsistentLight。玩法很簡單：上傳任意一張圖，系統(tǒng)會自動分離人物等主體，選擇光源位置，填上提示詞，就能毫無破綻的融入新環(huán)境了！趕緊來個王家衛(wèi)式的打光：不喜歡？沒關(guān)系，換成窗外打進(jìn)來的自然光，也就分分鐘的事。目前，ICLight提供兩類模型：文本條件重照明模型，還有背景條件模型。兩種模型都需要以前景圖像作為...

編輯云昭本周的OpenAI，似乎并未辜負(fù)其名稱中的“開放”字樣。近日，OpenAI雖然沒有開源任何新模型，但該公司非常之“清流”，一改銅臭的商業(yè)味道。1.OpenAI加入開放性組織推出內(nèi)容真實性工具5月7日，該公司發(fā)布公告加入C2PA（致力于開發(fā)確定內(nèi)容來源和真實性的技術(shù)規(guī)范，微軟和Adobe也是成員之一，非營利性組織）的貿(mào)易組織的指導(dǎo)委員會，并表示這樣做的目的是為了幫助人們驗證用于創(chuàng)建或編輯多種數(shù)字內(nèi)容的工具，并創(chuàng)建“專門...

當(dāng)人們還在呼喚GPT5、輾轉(zhuǎn)于各種聊天機(jī)器人爭奪戰(zhàn)時，Google已經(jīng)把人工智能模型與現(xiàn)實世界的距離又拉近了一大步。最近，GoogleDeepMind的AlphaFold3的問世標(biāo)志著人工智能在生命科學(xué)領(lǐng)域的一個重大突破，其對蛋白質(zhì)、DNA、RNA以及其他生命分子的結(jié)構(gòu)預(yù)測不僅精確無比，還重新定義了我們對生命過程的理解和探究。GoogleDeepMind與IsomorphicLabs合作開發(fā)的AlphaFold3，是一個先進(jìn)的AI模型，專門設(shè)計用來預(yù)測蛋白質(zhì)和其他生命分子...