進(jìn)入大模型時(shí)代，微軟在推動(dòng)大模型應(yīng)用落地動(dòng)作頻頻，先后發(fā)布了SemanticKernel，PromptFlow，AutoGen等框架，最近又發(fā)布了一款A(yù)gent框架：TaskWeaver。它被作為一個(gè)代碼優(yōu)先框架，用于構(gòu)建LLMAgent。它將用戶需求轉(zhuǎn)換為可執(zhí)行代碼，并將用戶定義的插件視為可調(diào)用函數(shù)。TaskWeaver支持豐富的數(shù)據(jù)結(jié)構(gòu)（支持本地Python數(shù)據(jù)結(jié)構(gòu)，如DataFrames）、靈活的插件使用和動(dòng)態(tài)插件選擇，并利用LLM編碼功能實(shí)現(xiàn)復(fù)雜邏輯。用戶可提供示例，...

隨著ChatGPT等模型的影響力越來越大，如何根據(jù)人類反饋優(yōu)化大模型的性能，實(shí)現(xiàn)超級(jí)對(duì)齊降低非法內(nèi)容輸出變得非常重要。傳統(tǒng)的DPO（直接偏好優(yōu)化）是使用較多的離線偏好優(yōu)化算法，主要通過重新參數(shù)化獎(jiǎng)勵(lì)函數(shù)，從人類反饋中學(xué)習(xí)以優(yōu)化大模型。但是DPO的獎(jiǎng)勵(lì)函數(shù)依賴于一個(gè)參考模型，不僅會(huì)大幅度增加AI算力和內(nèi)存需求，在訓(xùn)練和推理過程中的度量會(huì)出現(xiàn)不一致等情況。所以，弗吉尼亞大學(xué)和普林斯頓大學(xué)的研究人員推出了更好的優(yōu)化...

6月6日凌晨，OpenAI在官網(wǎng)公開了前沿大模型的安全策略，包括基礎(chǔ)架構(gòu)、保護(hù)措施、敏感數(shù)據(jù)存儲(chǔ)、開發(fā)人員訪問管理等。這也是OpenAI首次系統(tǒng)性的公布大模型開發(fā)安全方面的高級(jí)細(xì)節(jié)，讓外界深度了解其模型的開發(fā)流程，同時(shí)可為開發(fā)者在研究最新的前沿大模型提供技術(shù)借鑒。下面「AIGC開放社區(qū)」就為大家解讀一下主要內(nèi)容?；A(chǔ)研究架構(gòu)?OpenAI的研究技術(shù)架構(gòu)建立在微軟的Azure云服務(wù)之上，并通過Kubernetes（谷歌開源的容器平臺(tái)）...

嘉賓肖然采訪&撰稿云昭出品51CTO技術(shù)棧（微信號(hào)：blog51cto）新年伊始，AI大佬們頻繁被問及一個(gè)話題：“什么時(shí)候有殺手級(jí)AI應(yīng)用”。幾個(gè)月過去，諸如AIPin、RabbitR1、Devin等AI產(chǎn)品一閃而過，真正令人“啊哈”的AI應(yīng)用遲遲未現(xiàn)。“大模型時(shí)代的KillerApp，并不會(huì)某天突然出現(xiàn)。”Thoughtworks中國(guó)區(qū)總經(jīng)理肖然給出了一個(gè)出乎意料的判斷。肖然認(rèn)為，這一代智能技術(shù)產(chǎn)品的開發(fā)模式已然與之前不同。因?yàn)檫^去的產(chǎn)品，講究洞察人性...

前幾天，微博熱搜上的這個(gè)話題，可以說是讓家長(zhǎng)們哭笑不得。既然補(bǔ)習(xí)老師不靠譜，那親自上陣輔導(dǎo)孩子寫作業(yè)呢？讓清北畢業(yè)的爸爸都崩潰的這個(gè)難題，恐怕沒有這么簡(jiǎn)單。畢竟，自己會(huì)做一道題和能把孩子教會(huì)，是完全不同的兩件事。好在，最近一個(gè)忽然爆火的神秘國(guó)產(chǎn)大模型，或許能解決這個(gè)難題！在評(píng)論區(qū)，家長(zhǎng)們紛紛直呼「好想要」，直接把它評(píng)為國(guó)內(nèi)家長(zhǎng)最想要的AI。無數(shù)家長(zhǎng)瘋狂沖進(jìn)留言區(qū)，發(fā)出吶喊：趕快讓我從給孩子輔導(dǎo)作...

通過無透鏡成像實(shí)現(xiàn)3D人體姿態(tài)和形狀估計(jì)不僅有利于保護(hù)隱私，而且由于設(shè)備體積小、結(jié)構(gòu)簡(jiǎn)單，可用于軍事等隱秘監(jiān)測(cè)場(chǎng)景。然而，無透鏡系統(tǒng)的成像結(jié)果經(jīng)過了特殊的光學(xué)編碼，目前的圖像恢復(fù)方法無法得到高質(zhì)量的圖像，因此無法通過先恢復(fù)圖像再重建人體的方式來實(shí)現(xiàn)。針對(duì)以上問題，天津大學(xué)團(tuán)隊(duì)聯(lián)合南京大學(xué)在CVPR2024的工作中提出了端到端的無透鏡成像下的人體三維重建框架LPSNet。代碼：????https:github.comxiaonan1213...

引言：探索時(shí)間序列生成的重要性和挑戰(zhàn)時(shí)間序列數(shù)據(jù)的生成是當(dāng)前數(shù)據(jù)科學(xué)領(lǐng)域中的一個(gè)重要而具有挑戰(zhàn)性的研究方向。時(shí)間序列數(shù)據(jù)廣泛存在于各種重要領(lǐng)域，如醫(yī)療健康、金融市場(chǎng)、氣象預(yù)測(cè)等，這些數(shù)據(jù)的有效生成可以極大地推動(dòng)相關(guān)領(lǐng)域的發(fā)展。例如，醫(yī)療領(lǐng)域中的生命體征數(shù)據(jù)可以用于診斷和監(jiān)測(cè)病人的健康狀況；金融領(lǐng)域中的股票市場(chǎng)數(shù)據(jù)用于預(yù)測(cè)股價(jià)的漲跌；氣象數(shù)據(jù)的分析可以預(yù)警危險(xiǎn)天氣，從而減少可能的災(zāi)害損失。盡管時(shí)...

llamaindex的BM25Retriever基于RankBM25[1]的OkapiBM25。RankBM25，兩行代碼實(shí)現(xiàn)搜索引擎RankBM25?提供了多種BM25算法，如OkapiBM25?，BM25L?，BM25+等。它的使用也非常簡(jiǎn)單安裝pipinstallrankbm25初始化以O(shè)kapiBM25為例fromrankbm25importBM25Okapicorpus["Hellotheregoodman!","ItisquitewindyinLondon","Howistheweathertoday"]分詞使用空格tokenizedcorpus[doc.split("")fordocincorpus]bm25BM25Okapi(tokenizedcorpus)...

進(jìn)化通常被認(rèn)為是一種隨機(jī)過程，作用于通過基因變異隨機(jī)出現(xiàn)的各種性狀。已故古生物學(xué)家史蒂芬·杰·古爾德表示，如果我們讓進(jìn)化的時(shí)鐘倒轉(zhuǎn)，并“重播生命的錄音帶”，他懷疑“任何像智人這樣的生物是否會(huì)再次進(jìn)化出來。”但一項(xiàng)關(guān)于竹節(jié)蟲的新研究表明，進(jìn)化有時(shí)會(huì)以可預(yù)測(cè)的方式重復(fù)，這有助于我們理解生物如何發(fā)生變化以響應(yīng)選擇壓力。法國(guó)國(guó)家科學(xué)研究中心的進(jìn)化生物學(xué)家帕特里克·諾西爾和同事們研究了竹節(jié)蟲的偽裝模式，...

AGI到底是科技公司畫的大餅，還是可預(yù)測(cè)的未來？??幾天前，Anthropic一名25歲的高管在博客上發(fā)文，表示自己已經(jīng)準(zhǔn)備好了3年后退休，讓AI取代自己的工作。??最近，OpenAI前員工的一篇博客文章也有類似的觀點(diǎn)。他不僅認(rèn)為AGI很可能實(shí)現(xiàn)，而且「奇點(diǎn)」預(yù)計(jì)就在2027年。文章作者名為L(zhǎng)eopoldAschenbrenner，于2023年入職OpenAI超級(jí)對(duì)齊團(tuán)隊(duì)，工作了1年6個(gè)月。Aschenbrenner認(rèn)為，到2027年，大模型將能夠完成AI研究人員或工程師的...

PandasAI是一個(gè)開源項(xiàng)目，旨在為Pandas庫(kù)添加人工智能功能，使用戶可以通過自然語(yǔ)言與數(shù)據(jù)進(jìn)行互動(dòng)。這一工具利用生成式人工智能技術(shù)，幫助用戶無需編寫復(fù)雜代碼即可探索、清理和分析數(shù)據(jù)。以下是PandasAI的一些主要特性和優(yōu)勢(shì)：增強(qiáng)的數(shù)據(jù)分析能力：PandasAI擴(kuò)展了Pandas的核心功能，使其能夠處理更復(fù)雜的數(shù)據(jù)分析任務(wù)，包括數(shù)據(jù)清洗、轉(zhuǎn)換、探索性數(shù)據(jù)分析和可視化。智能數(shù)據(jù)操作：利用AI技術(shù)，PandasAI能夠智能識(shí)別用戶意圖...

在股票投資中，尋找被低估的股票是實(shí)現(xiàn)高回報(bào)的重要途徑。傳統(tǒng)的分析方法需要大量手工處理數(shù)據(jù)，而Python數(shù)據(jù)科學(xué)和LLM大模型技術(shù)可以幫助我們更高效地完成這項(xiàng)工作。這個(gè)項(xiàng)目旨在利用Python編程語(yǔ)言和大模型來自動(dòng)化篩選納斯達(dá)克市場(chǎng)中的低估值股票。本文所有代碼已打包，并配有詳細(xì)文檔，下載方法詳見文末，代碼文件結(jié)構(gòu)如下：最后代碼執(zhí)行后篩選結(jié)果如下：大模型給我們的財(cái)富密碼是：PDD（拼多多）、CSCO（思科）、AEP（美國(guó)...

LLM（大語(yǔ)言模型）通常存在校準(zhǔn)不良和過度自信的問題，無論是顯性的（例如，“我百分之百確定”）還是隱性的，例如提供詳細(xì)信息或權(quán)威語(yǔ)調(diào)。為了解決這個(gè)問題，研究人員采用了一種實(shí)用的說話者聽眾多代理方法。通過多代理RSA（RationalSpeechActs）和啟發(fā)式的偏好優(yōu)化來實(shí)現(xiàn)這一點(diǎn)：說話者生成答案，聽眾根據(jù)答案的聽起來如何來接受或拒絕它們。人們更喜歡自信且正確或不自信且不正確的答案，不喜歡不匹配的答案。通過使用引導(dǎo)...

大型語(yǔ)言模型（LLM）有一些固有限制，如知識(shí)截?cái)唷⑤^差的算術(shù)能力或無法訪問私有數(shù)據(jù)等。為了克服這些限制，研究人員使用了諸如檢索增強(qiáng)生成（RetrievalAugmentedGeneration，RAG）的技術(shù)，該技術(shù)通過查詢向量或結(jié)構(gòu)化數(shù)據(jù)庫(kù)，在提示中添加相關(guān)上下文的結(jié)果。像Toolformer和ReAct這樣的創(chuàng)新提高了LLM的性能，使其能夠使用外部函數(shù)進(jìn)行復(fù)雜問題的解決。LLM整合各種工具和函數(shù)調(diào)用的能力可能會(huì)導(dǎo)致在開發(fā)基于LLM的軟件時(shí)發(fā)生根本...

隨著前不久IlyaSutskever從OpenAI的離職，OpenAI首席架構(gòu)師和著名強(qiáng)化學(xué)習(xí)(ReinforcementLearning,或RL)專家JohnSchulman?博士成為OpenAI現(xiàn)存最主要具有技術(shù)背景的創(chuàng)始人。最近，Schulman博士接受了著名的科技播客主持人DwarkeshPatel的專訪。他解密了OpenAI大模型發(fā)展史，介紹了OpenAI怎樣訓(xùn)練和產(chǎn)品化大模型，尤其是后訓(xùn)練階段如何通過RL提升大模型的泛化能力和實(shí)用性。Schulman分享了他對(duì)大模型伸縮律（ScalingLaw)，大模型...

論文鏈接:https:arxiv.orgpdf2405.18750項(xiàng)目鏈接：https:t2vturbo.github.io基于擴(kuò)散的文本到視頻（T2V）模型取得了顯著的成功，但仍然受到迭代采樣過程速度緩慢的影響。為了解決這一挑戰(zhàn)，一些一致性模型被提出來促進(jìn)快速推理，盡管以犧牲樣本質(zhì)量為代價(jià)。在這項(xiàng)工作中，旨在突破視頻一致性模型（VCM）的質(zhì)量瓶頸，實(shí)現(xiàn)快速且高質(zhì)量的視頻生成。本文引入了T2VTurbo，將來自不同可微分獎(jiǎng)勵(lì)模型混合的反饋集成到預(yù)訓(xùn)練T2V模型的...

隨著大模型技術(shù)的日漸成熟，應(yīng)用已從原型演示向企業(yè)級(jí)落地過渡。之前，我們也多次介紹過有關(guān)諸如高級(jí)RAG等生產(chǎn)級(jí)技術(shù)，但缺少類似于MLOPS成熟度這樣的評(píng)估體系，無法衡量一個(gè)應(yīng)用在企業(yè)級(jí)層面達(dá)到了何種水平。今天，筆者介紹GoogleAIML和GenAI總監(jiān)AliArsanjani提出的端到端生成式AI應(yīng)用架構(gòu)以及其成熟度的分級(jí)。如圖可見，它將其分為UIUX（自然語(yǔ)言對(duì)話交互）、PromptEngineering（提示工程）、RAG、Serve（服務(wù)）、Adapt（適配...

在上周于瑞士日內(nèi)瓦舉行的國(guó)際電信聯(lián)盟AIforGood全球峰會(huì)上，OpenAI首席執(zhí)行官SamAltman在被問及該公司的大型語(yǔ)言模型(LLM)的實(shí)際運(yùn)作方式時(shí)感到很困惑。SamAltman承認(rèn)OpenAI實(shí)際上并不了解其AI的工作原理，“我們當(dāng)然還沒有解決可解釋性問題。”OpenAI已籌集數(shù)百億美元用于開發(fā)改變世界的人工智能技術(shù)。但有一個(gè)明顯的問題：它仍然難以理解其技術(shù)實(shí)際上是如何運(yùn)作的?！队^察家報(bào)》援引他的話說：“我們當(dāng)然還沒有解決可解釋性...

論文鏈接：https:arxiv.orgpdf2310.05375代碼鏈接：https:github.comzengbohan0217IPDreamer最近文本到3D生成以及單張圖片到3D生成驚艷的生成結(jié)果引來了越來越多研究者們的關(guān)注，然而這兩個(gè)方向都存在有各自小小的局限性，首先文本到3D生成的結(jié)果難以準(zhǔn)確地控制生成結(jié)果的外觀，而單張圖片到3D生成雖然可以確定生成3D結(jié)果的外觀，但是目前主要的單張圖片到3D生成方法還是只能處理主體比較明確的圖片，難以處理復(fù)雜的圖片，并且...

像素級(jí)場(chǎng)景理解是計(jì)算機(jī)視覺的基礎(chǔ)問題之一，旨在識(shí)別給定圖像中每個(gè)像素的對(duì)象類、mask和語(yǔ)義。與圖像場(chǎng)景解析相比，視頻場(chǎng)景解析引入了時(shí)間信息，可以有效提高預(yù)測(cè)的一致性和準(zhǔn)確性，因?yàn)楝F(xiàn)實(shí)世界實(shí)際上是基于視頻的，而不是靜態(tài)的。本文采用基于不可靠偽標(biāo)簽的半監(jiān)督視頻語(yǔ)義分割方法。然后，將教師網(wǎng)絡(luò)模型與學(xué)生網(wǎng)絡(luò)模型集成，生成偽標(biāo)簽并對(duì)學(xué)生網(wǎng)絡(luò)進(jìn)行再訓(xùn)練。本方法在開發(fā)測(cè)試和最終測(cè)試中分別獲得了63.71%和67.83%的m...