編者按：傳統(tǒng)的基于用戶數(shù)量的定價(jià)模式是否還適用于AI產(chǎn)品？我們今天為大家?guī)淼倪@篇文章中，作者提出：AI產(chǎn)品應(yīng)該采用基于工作量的定價(jià)模式，而非傳統(tǒng)的基于用戶數(shù)量的定價(jià)方式。傳統(tǒng)的基于用戶數(shù)量的定價(jià)模式在AI產(chǎn)品中往往會(huì)導(dǎo)致資源浪費(fèi)和成本分配不均。一些員工可能每天都在大量使用AI工具，而另一些人可能幾乎不碰。這不僅會(huì)增加企業(yè)的不必要開支，還可能阻礙AI工具在整個(gè)組織中的廣泛應(yīng)用和創(chuàng)新。作者分享了他們?cè)贏I產(chǎn)...

編輯言征出品51CTO技術(shù)棧（微信號(hào)：blog51cto）字節(jié)終于又跳動(dòng)了一把！昨天，字節(jié)豆包大模型冷不防就公開了一個(gè)新品大招！9月24日，深圳。字節(jié)對(duì)于大模型領(lǐng)域的雄心壯志再度升級(jí)，不等OpenAI的Sora發(fā)布，視頻生成領(lǐng)域，字節(jié)要當(dāng)No.1。字節(jié)就是這樣，總在看似尋常的更新會(huì)議上，放出驚艷的大招！劃重點(diǎn)：不負(fù)大家對(duì)于字節(jié)的期待，全新的豆包視頻生成模型實(shí)在威力驚人，活動(dòng)現(xiàn)場(chǎng)非常火爆！圖片巡展開始，火山引擎總裁譚待宣布了豆...

前言本期基于凱斯西儲(chǔ)大學(xué)（CWRU）軸承數(shù)據(jù)，進(jìn)行Transformer的結(jié)構(gòu)優(yōu)勢(shì)進(jìn)行講解，結(jié)合論文《HowMuchAttentionDoYouNeed》，探索不同模塊對(duì)故障分類任務(wù)的影響力。1《HowMuchAttentionDoYouNeed》1.1論文解析論文提到三個(gè)觀點(diǎn)：（1）Sourceattentiononlowerencoderlayersbringsnoadditionalbenefit(x4.2).解釋：SourceAttention：通常指的是在編碼器（encoder）中，模型關(guān)注輸入序列的不同部分的機(jī)制。在Transformer中，編碼器...

將外部數(shù)據(jù)整合到LLMs中的技術(shù)，如檢索增強(qiáng)生成（RAG）和微調(diào)，得到廣泛應(yīng)用，但在不同專業(yè)領(lǐng)域有效部署數(shù)據(jù)增強(qiáng)LLMs面臨著重大挑戰(zhàn)：從檢索相關(guān)數(shù)據(jù)和準(zhǔn)確解釋用戶意圖到充分利用LLMs的推理能力來處理復(fù)雜任務(wù)對(duì)于數(shù)據(jù)增強(qiáng)LLM應(yīng)用來說，沒有一種放之四海而皆準(zhǔn)的解決方案。應(yīng)用落地性能不佳往往是由于未能正確識(shí)別任務(wù)的核心焦點(diǎn)，或者任務(wù)本身就需要多種能力結(jié)合，必須被分離出來以獲得更好解決方案。數(shù)據(jù)增強(qiáng)LLM應(yīng)用中不同查...

韌性，即系統(tǒng)在面對(duì)破壞性事件時(shí)的承受、適應(yīng)和恢復(fù)能力，是一個(gè)跨學(xué)科的重要概念。在生態(tài)學(xué)中，韌性指的是生態(tài)系統(tǒng)在受到干擾后恢復(fù)到原始狀態(tài)的能力；在工程學(xué)中，韌性涉及系統(tǒng)在故障或攻擊后恢復(fù)功能的能力；在心理學(xué)中，韌性則描述了個(gè)體或群體在面對(duì)壓力和逆境時(shí)的應(yīng)對(duì)和恢復(fù)能力。經(jīng)濟(jì)學(xué)、社會(huì)科學(xué)、網(wǎng)絡(luò)科學(xué)等領(lǐng)域也都對(duì)韌性進(jìn)行了廣泛研究。在人工智能（AI）領(lǐng)域，特別是合作人工智能（CooperativeAI）中，韌性的重要性...

上次??《科普神文，一次性講透AI大模型的核心概念》??一文中，我基于結(jié)合大量示例及可視化的圖形手段給大家科普了AI大模型的相關(guān)算法和核心概念。但是收到不少非技術(shù)背景的小伙伴反饋，相關(guān)的算法內(nèi)容的解釋技術(shù)性還是太強(qiáng)，很難完全理解。所以這次，題主從最基礎(chǔ)的概念“token”著手，跳過了復(fù)雜的算法邏輯，這次一定讓你建立起對(duì)AI大模型工作原理的清晰認(rèn)知。什么是token？最小的語義單元你可能會(huì)好奇，大規(guī)模語言模型是...

在CTR預(yù)估中，主流都采用特征embedding+MLP的方式，其中特征非常關(guān)鍵。然而對(duì)于相同的特征，在不同的樣本中，表征是相同的，這種方式輸入到下游模型，會(huì)限制模型的表達(dá)能力。為了解決這個(gè)問題，CTR預(yù)估領(lǐng)域提出了一系列相關(guān)工作，被稱為特征增強(qiáng)模塊。特征增強(qiáng)模塊根據(jù)不同的樣本，對(duì)embedding層的輸出結(jié)果進(jìn)行一次矯正，以適應(yīng)不同樣本的特征表示，提升模型的表達(dá)能力。最近，復(fù)旦大學(xué)和微軟亞研院聯(lián)合發(fā)布了一篇特征增強(qiáng)工作...

9月24日，谷歌發(fā)布了兩個(gè)更新版的Gemini模型：Gemini1.5Pro002和Gemini1.5Flash002。此次更新帶來了多項(xiàng)重要改進(jìn)：性能提升：MMLUPro測(cè)試提高約7%數(shù)學(xué)相關(guān)測(cè)試提高約20%視覺理解和代碼生成提高27%整體響應(yīng)更有幫助，減少了拒絕回答的情況價(jià)格下調(diào)：Gemini1.5Pro模型價(jià)格大幅降低，最高降幅達(dá)64%。此措施將于2024年10月1日生效。使用限制放寬：Gemini1.5Flash：2000RPMGemini1.5Pro：1000RPM速度提升：輸出速度提高2倍，延遲降低...

今天介紹了一種全新的LlamaIndex數(shù)據(jù)結(jié)構(gòu)：文檔摘要索引。將描述它如何比傳統(tǒng)語義搜索提供更好的檢索性能，并通過一個(gè)示例進(jìn)行了演示。背景大型語言模型(LLM)的核心用例之一是針對(duì)自己的數(shù)據(jù)進(jìn)行問答。為此，我們將LLM與“檢索”模型配對(duì)，該模型可以對(duì)知識(shí)語料庫(kù)執(zhí)行信息檢索，并使用LLM對(duì)檢索到的文本執(zhí)行響應(yīng)合成。這個(gè)整體框架稱為檢索增強(qiáng)生成（RAG）。目前，大多數(shù)構(gòu)建LLM驅(qū)動(dòng)的QA系統(tǒng)的用戶傾向于執(zhí)行以下操作：獲取源文...

通過上文的方法??RAG高級(jí)優(yōu)化：一文看盡query的轉(zhuǎn)換之路??，我們召回了一些相關(guān)片段，本文我們將介紹在將召回片段送入大模型之前的一些優(yōu)化手段，它們能幫助大模型更好的理解上下文知識(shí)，給出最佳的回答：LongtextReorderContextualcompressionRefineEmotionPromptLongtextReorder根據(jù)論文LostintheMiddle:HowLanguageModelsUseLongContexts，的實(shí)驗(yàn)表明，大模型更容易記憶開頭和結(jié)尾的文檔，而對(duì)中間部分的文檔記憶能力不...

隨著LLM持續(xù)火爆，如何實(shí)現(xiàn)其安全性成為組織必須思考的關(guān)鍵問題。在過去一年中，關(guān)于大型語言模型（LLM）的討論激增，這促使許多組織開始思考：我們應(yīng)該如何保護(hù)人工智能？安全影響又是什么？要回答這些問題，最好先了解一下LLM的運(yùn)作原理。首先，我們簡(jiǎn)要介紹一下LLM和LLM應(yīng)用程序是什么？LLM安全性與傳統(tǒng)安全性有何不同？什么是保護(hù)LLM的良好框架？我們?nèi)绾螌?shí)現(xiàn)這些框架？從某種角度來看，LLM的興起就像當(dāng)初的社交網(wǎng)絡(luò)，試想...

1使用LlamaIndex和UnstructuredIO檢索數(shù)據(jù)在數(shù)據(jù)檢索領(lǐng)域，LlamaIndex以其強(qiáng)大的工具和技術(shù)，為用戶帶來了全新的檢索體驗(yàn)。這個(gè)框架的亮點(diǎn)在于索引系統(tǒng)的靈活性，用戶可以根據(jù)文檔的具體內(nèi)容，量身定制索引策略，以適應(yīng)不同的文檔結(jié)構(gòu)。每種索引都設(shè)計(jì)得獨(dú)具匠心，能夠精準(zhǔn)匹配各種文檔結(jié)構(gòu)，確保信息檢索的準(zhǔn)確性和高效性。對(duì)于包含大量表格的PDF文件，建議使用LlamaIndex推薦的RecursiveRetriever。這種遞歸檢索技術(shù)的精髓在...

嘿，大家好！這里是一個(gè)專注于AI智能體的頻道最近這2篇綜述有點(diǎn)撞車了，不是純正的Agent綜述，可以了解一下最新的應(yīng)用測(cè)的Agent發(fā)展情況！現(xiàn)實(shí)中的Agent系統(tǒng)會(huì)面臨很多的挑戰(zhàn)，常見的有以下幾點(diǎn)：感知模塊的探索不足：當(dāng)前研究中對(duì)LLMbasedAgent的感知模塊探索不夠，尤其是在處理代碼這類特殊文本輸入時(shí)，缺乏對(duì)樹圖結(jié)構(gòu)等高級(jí)輸入模式的研究。角色扮演能力的需求：Agent常常需要在不同任務(wù)中扮演多種角色，如代碼生成器、測(cè)試...

今天我要跟大家分享一篇很有意思的論文,題目是《AgentWorkflowMemory》,也就是"Agent工作流記憶"。這篇論文提出了一種新方法,讓AI助手(我們稱之為Agent)能更好地完成復(fù)雜的網(wǎng)頁(yè)任務(wù)。背景:AI助手的挑戰(zhàn)首先,我們來聊聊這個(gè)研究的背景。現(xiàn)在的AI技術(shù)已經(jīng)非常強(qiáng)大了,特別是像GPT這樣的大語言模型(LLM),它們可以進(jìn)行對(duì)話、回答問題,甚至可以幫我們完成一些簡(jiǎn)單的任務(wù)。但是,當(dāng)面對(duì)復(fù)雜的、需要多個(gè)步驟才能完成的任務(wù)時(shí),AI助手還是...

奧特曼深夜發(fā)文！引來無數(shù)網(wǎng)友圍觀。談起心目中的“智能時(shí)代”，奧特曼又一次重申：可能在幾千天內(nèi)，我們就會(huì)擁有AGI！圖片奧特曼說，“在未來幾十年，我們將能夠做到一些對(duì)我們的祖父母來說似乎像魔法一樣的事情。”而縱觀歷史，人類的能力擴(kuò)展不外乎受惠于科技的發(fā)展，“我們之所以更有能力，并不是因?yàn)榛虻母淖儯且驗(yàn)槲覀兪芤嬗谏鐣?huì)基礎(chǔ)設(shè)施比任何一個(gè)人都要聰明和更有能力；從某種重要意義上說，社會(huì)本身就是一種先進(jìn)...

編輯星璇出品51CTO技術(shù)棧（微信號(hào)：blog51cto）OpenAI什么時(shí)候不光賣大模型的token，也開始賣加密貨幣的token（代幣）了！？許多網(wǎng)友還以為OpenAI在落一招大棋子，但真相卻是一場(chǎng)黑色幽默：OpenAI被騙子釣魚了！一、OpenAI官方賬號(hào)遭騙子入侵，發(fā)行加密代幣近兩年來OpenAI名聲大火，已經(jīng)開始有不軌之徒冒充OpenAI官方賬號(hào)來散步虛假信息、甚至被利用來竊取用戶憑據(jù)。美東時(shí)間，9月23日下午晚些時(shí)候，OpenAINewsroom（OpenAI最近...

編者按：傳統(tǒng)的檢索增強(qiáng)生成（RAG）技術(shù)在處理需要深入理解實(shí)體關(guān)系的問題時(shí)常常力不從心，那么有什么新的技術(shù)可以突破這一限制嗎？本文深入探討了GraphRAG技術(shù)，這一創(chuàng)新方案通過將非結(jié)構(gòu)化文本轉(zhuǎn)化為結(jié)構(gòu)化知識(shí)圖譜，巧妙地解決了上述難題。GraphRAG能顯著提升AI系統(tǒng)理解和回答復(fù)雜問題的能力，尤其在跨時(shí)代、跨學(xué)科的問題上表現(xiàn)出色。作者也指出了實(shí)施GraphRAG面臨的挑戰(zhàn)，包括知識(shí)圖譜構(gòu)建的復(fù)雜性、可擴(kuò)展性問題以及維護(hù)成...

文章鏈接：https:arxiv.orgpdf2409.12191Github鏈接：https:github.comQwenLMQwen2VL亮點(diǎn)直擊本文介紹了Qwen系列大型視覺語言模型的最新成員：Qwen2VL系列，該系列包括三款開放權(quán)重模型，總參數(shù)量分別為20億、80億和720億。如圖1所示，Qwen2VL的關(guān)鍵進(jìn)展包括：在各種分辨率和寬高比上的最先進(jìn)理解能力：Qwen2VL在視覺基準(zhǔn)測(cè)試中表現(xiàn)出色，包括DocVQA、InfoVQA、RealWorldQA、MTVQA、MathVista等。對(duì)長(zhǎng)時(shí)間視頻（超過20分鐘）的...

“端到端模型，是一個(gè)直接由輸入獲取輸出的過程”最近有一個(gè)很火的關(guān)于人工智能模型的詞——端到端模型。那么什么是端到端模型？為什么會(huì)提出端到端模型，以及它解決了哪些問題？今天我們就來一起了解一下這個(gè)端到端模型。端到端模型還記得計(jì)算機(jī)組成原理里面，關(guān)于馮諾伊曼計(jì)算機(jī)結(jié)構(gòu)中，組成計(jì)算機(jī)的幾個(gè)模塊嗎？運(yùn)算器控制器存儲(chǔ)器輸入設(shè)備和輸出設(shè)備，由這五大模塊組成了現(xiàn)有的計(jì)算機(jī)系統(tǒng)。而對(duì)我們使用者來說，這五大模塊...

“分工才是社會(huì)進(jìn)步的動(dòng)力，大模型產(chǎn)業(yè)鏈才剛剛開始”可能很多人看了標(biāo)題會(huì)覺得很奇怪，大模型與社會(huì)分工有什么關(guān)系，產(chǎn)業(yè)鏈和模塊化又是什么鬼，我們不是學(xué)習(xí)大模型技術(shù)和應(yīng)用的么？怎么越來越跑偏了。其實(shí)，寫這篇文章的目的就是為了解放大家的思想，要明白大模型不是一個(gè)事，也不是一個(gè)人做的事，它是一個(gè)龐大的系統(tǒng)，需要大家分工合作才行。大模型與社會(huì)分工，產(chǎn)業(yè)鏈與模塊化的關(guān)系這篇文章可能并不是一篇技術(shù)文章，可能更...