AI.x社區(qū)
- 登錄/注冊(cè)
關(guān)于大模型在企業(yè)生產(chǎn)環(huán)境中的獨(dú)立部署問(wèn)題
原創(chuàng)“大模型產(chǎn)品的技術(shù)復(fù)雜度遠(yuǎn)遠(yuǎn)超出你的想象”最近一段時(shí)間公司在搞AIGC領(lǐng)域的產(chǎn)品，雖然集成了很多第三方的大模型服務(wù)接口，但從節(jié)省成本的角度，公司也找了一部分具有相似效果的開(kāi)源模型做獨(dú)立部署。但在做模型獨(dú)立部署方面面對(duì)著各種各樣的問(wèn)題，而且環(huán)境極不穩(wěn)定，因此就引發(fā)了關(guān)于大模型企業(yè)級(jí)應(yīng)用中的環(huán)境部署和運(yùn)維的問(wèn)題。關(guān)于大模型在企業(yè)生產(chǎn)中的部署問(wèn)題首先拋開(kāi)成本問(wèn)題從技術(shù)的角度來(lái)說(shuō)，小公司獨(dú)立部署大模型會(huì)很...大模型什么是具身智能模型，它和普通大模型有什么區(qū)別？
原創(chuàng)“具身智能，一種把大模型應(yīng)用到工業(yè)生產(chǎn)的技術(shù)”隨著大模型技術(shù)的發(fā)展，大模型的發(fā)展方向也逐漸變得明朗，比如AIGC，AI代理等；而最近學(xué)習(xí)到了一個(gè)新的概念——具身智能，雖然并不是第一次聽(tīng)說(shuō)這個(gè)詞，但一直以為它只是大模型技術(shù)的一種實(shí)現(xiàn)方式，但到最近才發(fā)現(xiàn)具身只能和大模型是不一樣的兩種東西。而且，具身智能可以說(shuō)是大模型的上層應(yīng)用，其發(fā)展方向也更加廣闊；那么我們就來(lái)一起了解一下什么是具身智能。具身智能從定義...具身智能大模型微調(diào)谷歌開(kāi)源Gemini Flash模型實(shí)現(xiàn)PII脫敏實(shí)戰(zhàn)
原創(chuàng)本文將通過(guò)具體的實(shí)戰(zhàn)代碼示例來(lái)探索谷歌開(kāi)源GeminiFlash模型的學(xué)習(xí)曲線和采樣效率。在大多數(shù)常見(jiàn)的機(jī)器學(xué)習(xí)和自然語(yǔ)言處理中，實(shí)現(xiàn)最佳性能通常需要在用于訓(xùn)練的數(shù)據(jù)量和由此產(chǎn)生的模型準(zhǔn)確性之間進(jìn)行權(quán)衡。本文中，我們將以PII（個(gè)人識(shí)別信息）脫敏算法數(shù)據(jù)集為例，探討使用微調(diào)谷歌GeminiFlash模型的情況下樣本效率的概念。我們將研究隨著樣本數(shù)量的增加而進(jìn)行的微調(diào)如何影響調(diào)整后的模型的功能。何謂樣本效率，為什么它很重...機(jī)器學(xué)習(xí)LLM模型Gemini FlashMixAttention：跨層 KV Cache 共享 + 滑動(dòng)窗口 Attention
一、背景我們之前的文章中介紹過(guò)Character.AI的LLM推理最佳實(shí)踐，其在1年多的時(shí)間里將推理成本降低了33倍。其中一個(gè)關(guān)鍵技術(shù)是對(duì)KVCache的跨層共享以及與LocalAttention的結(jié)合。本文我們介紹MixAttention，其思路和上述方案完全一致，不過(guò)針對(duì)長(zhǎng)文本場(chǎng)景做了更多實(shí)驗(yàn)和調(diào)整。對(duì)應(yīng)的論文為：[2409.15012]InferenceFriendlyModelsWithMixAttentionLLM稀疏化相關(guān)工作可以參考：??SnapKV:KVCache稀疏化，零微調(diào)加速長(zhǎng)序列LLM推理...跨層KVAttentionAI助手Tutor CoPilot：讓每個(gè)教師都能成為優(yōu)秀導(dǎo)師 | Mamba模型：醫(yī)學(xué)影像分析的新紀(jì)元
大模型領(lǐng)域的發(fā)展日新月異，每天都有許多有趣的論文值得深入品讀。下面是本期覺(jué)得比較有意思的論文：1、AI助手TutorCoPilot：讓每個(gè)教師都能成為優(yōu)秀導(dǎo)師2、Mamba模型：醫(yī)學(xué)影像分析的新紀(jì)元1、AI助手TutorCoPilot：讓每個(gè)教師都能成為優(yōu)秀導(dǎo)師論文標(biāo)題：TutorCoPilot:AHumanAIApproachforScalingRealTimeExpertise論文鏈接：??https:arxiv.orgabs2410.03017??人工智能正在深刻改變教育領(lǐng)域，而TutorCoPilot的出現(xiàn)無(wú)疑是一...AI優(yōu)秀導(dǎo)師Mamba微軟提出LLM-dCache:GTP驅(qū)動(dòng)本地?cái)?shù)據(jù)緩存優(yōu)化的大模型
大型語(yǔ)言模型（LLM）在系統(tǒng)級(jí)優(yōu)化中的新進(jìn)展近年來(lái)，大型語(yǔ)言模型（LLM）在解決復(fù)雜問(wèn)題的推理能力方面取得了顯著進(jìn)展，使其能夠有效管理數(shù)千種工具和API調(diào)用。這些改進(jìn)釋放了它們?cè)诖笠?guī)模系統(tǒng)中的潛力，包括UI網(wǎng)絡(luò)界面、移動(dòng)應(yīng)用程序、SQL后端和遠(yuǎn)程感應(yīng)平臺(tái)。這些用途通過(guò)需要集成各種API來(lái)加載、過(guò)濾、處理和跨多個(gè)時(shí)間和空間維度可視化數(shù)據(jù)，體現(xiàn)了系統(tǒng)級(jí)的復(fù)雜性。隨著Copilots規(guī)模的擴(kuò)大，底層堆棧的開(kāi)銷(xiāo)從云端點(diǎn)到本地執(zhí)...微軟LLM模型拒絕信息泄露！VMD滾動(dòng)分解 + Informer-BiLSTM并行預(yù)測(cè)模型
前言在時(shí)間序列預(yù)測(cè)任務(wù)中，像EMD（經(jīng)驗(yàn)?zāi)B(tài)分解）、CEEMDAN（完全集合經(jīng)驗(yàn)?zāi)B(tài)分解）、VMD（變分模態(tài)分解）等分解算法的使用有可能引入信息泄露，具體情況取決于這些方法的應(yīng)用方式。信息泄露的主要風(fēng)險(xiǎn)在于：將未來(lái)的信息泄露給了模型，使得模型在實(shí)際應(yīng)用中表現(xiàn)得比應(yīng)有的好。為了防止信息泄露，我們?cè)诜纸庵埃紫葘?duì)數(shù)據(jù)集進(jìn)行劃分。然后使用滑動(dòng)窗口的方法來(lái)制作數(shù)據(jù)集標(biāo)簽，最后逐步滾動(dòng)分解時(shí)間序列窗口！注：沒(méi)有錯(cuò)誤...VMD并行預(yù)測(cè)模型AI應(yīng)用落地關(guān)鍵技術(shù)：AI Agent
原創(chuàng)一、什么是AIAgent？1、用快思考與慢思考類(lèi)比大模型的能力根據(jù)丹尼爾·卡尼曼的著作《思考，快與慢》，人類(lèi)的思維可以分為兩大系統(tǒng)：系統(tǒng)1和系統(tǒng)2。系統(tǒng)1負(fù)責(zé)直覺(jué)式的快速思考，這種思考往往是無(wú)意識(shí)的；而系統(tǒng)2則擅長(zhǎng)進(jìn)行有意識(shí)的邏輯推理和主動(dòng)控制。在探討大型模型的思維能力時(shí)，我們首先可以觀察到，這些大模型可能具備了類(lèi)似人類(lèi)的分析問(wèn)題能力，它們能夠理解、分析和解決復(fù)雜問(wèn)題。進(jìn)一步地，人類(lèi)與動(dòng)物的一個(gè)重要區(qū)別在...AIAgent國(guó)家人機(jī)混合增強(qiáng)智能重點(diǎn)實(shí)驗(yàn)室項(xiàng)目：利用生成世界模型優(yōu)化多智能體系統(tǒng)決策
生成模型在單智能體場(chǎng)景中的應(yīng)用已經(jīng)取得了顯著進(jìn)展。例如，UniSim通過(guò)預(yù)測(cè)圖像中的動(dòng)作來(lái)推斷未來(lái)的情景，展示了從廣泛數(shù)據(jù)中學(xué)習(xí)的模擬器可以推廣到現(xiàn)實(shí)世界，并彌合仿真與現(xiàn)實(shí)的差距。而Genie則允許用戶在生成的環(huán)境中逐幀行動(dòng)，為訓(xùn)練未來(lái)的通用智能體鋪平了道路。但是這些模型主要集中于單智能體場(chǎng)景，對(duì)于需要多個(gè)智能體協(xié)同工作的任務(wù)，它們的適用性相對(duì)有限。在多智能體強(qiáng)化學(xué)習(xí)（MARL）任務(wù)中，世界模型的研究尚處于起...模型多智能系統(tǒng)時(shí)序預(yù)測(cè)數(shù)據(jù)處理新方法匯總：多粒度和頻域的可逆歸一化
時(shí)間序列預(yù)測(cè)建模中，非平穩(wěn)性或distributionshift一直是一個(gè)建模難點(diǎn)。非平穩(wěn)性指的是時(shí)間序列的統(tǒng)計(jì)量，如均值、方差隨時(shí)間發(fā)生變化，導(dǎo)致數(shù)據(jù)分布隨著時(shí)間發(fā)生漂移，造成了模型訓(xùn)練和擬合的難度。今天給大家介紹一下最近一段時(shí)間提出的2種解決時(shí)間序列非平穩(wěn)性問(wèn)題的方法。這兩種方法分別從多粒度的角度和頻域的角度進(jìn)行可逆歸一化，實(shí)現(xiàn)了不錯(cuò)的效果提升。1.基礎(chǔ)可逆歸一化方法可逆歸一化最基礎(chǔ)的方法來(lái)自REVERSIBLEINSTANC...時(shí)序預(yù)測(cè)數(shù)據(jù)將代碼庫(kù)或網(wǎng)站一鍵轉(zhuǎn)成單個(gè)文件供給LLM，這些項(xiàng)目你應(yīng)該知道！
在LLM應(yīng)用開(kāi)發(fā)中，一個(gè)關(guān)鍵任務(wù)是構(gòu)建高質(zhì)量的提示，因?yàn)樘崾镜馁|(zhì)量直接影響LLM的性能表現(xiàn)。而其中至關(guān)重要的部分是上下文背景信息，RAG中的檢索目的也正是為構(gòu)造這些背景素材。現(xiàn)在，我們將關(guān)注一個(gè)衍生問(wèn)題：如何將復(fù)雜結(jié)構(gòu)的內(nèi)容倉(cāng)庫(kù)（如代碼庫(kù)、網(wǎng)站等）轉(zhuǎn)換為L(zhǎng)LM友好的格式，以便后續(xù)使用。以代碼庫(kù)為例，開(kāi)發(fā)者們普遍面臨以下痛點(diǎn)：復(fù)雜的目錄結(jié)構(gòu)：大型項(xiàng)目通常包含多層嵌套的目錄和眾多文件，手動(dòng)整理耗時(shí)且易出錯(cuò)。上...LLM代碼庫(kù)網(wǎng)站《深入解讀學(xué)術(shù)論文：探索創(chuàng)新與價(jià)值》
論文原名：Whenalanguagemodelisoptimizedforreasoning,doesitstillshowembersofautoregressionAnanalysisofOpenAIo1論文圍繞全基因組測(cè)序以及Hadoop分布式平臺(tái)在基因測(cè)序中的應(yīng)用展開(kāi)。全基因組測(cè)序在醫(yī)學(xué)、生物學(xué)等領(lǐng)域日益重要，但目前僅有3%的堿基信息能從臨床醫(yī)學(xué)上給予解釋?zhuān)罅繙y(cè)序工作有待發(fā)掘。在此背景下，作者進(jìn)行相關(guān)研究，目的是建立高效快速的數(shù)據(jù)分析平臺(tái)，結(jié)合生物測(cè)序儀器進(jìn)行基因測(cè)序分析工作，以解密人類(lèi)基...大模型語(yǔ)言草莓OpenAI o1的規(guī)劃能力怎么樣？泰斗Subbarao Kambhampati給你答案！
原創(chuàng)一、引言O(shè)penAI發(fā)布的草莓o1模型為評(píng)估大語(yǔ)言模型（LLMs）在規(guī)劃和調(diào)度基準(zhǔn)上的進(jìn)展提供了新的機(jī)會(huì)，但是它的規(guī)劃能力到底怎么樣呢？近期，規(guī)劃領(lǐng)域泰斗SubbaraoKambhampati教授領(lǐng)銜的論文對(duì)其進(jìn)行了研究，旨在全面評(píng)估o1在既定規(guī)劃和調(diào)度基準(zhǔn)上的性能，并展示如何通過(guò)將大型推理模型（LargeReasoningModel,LRM）嵌入到帶有可靠驗(yàn)證器的循環(huán)中，為其輸出提供正確性保證并提高性能。SubbaraoKambhampati一直是經(jīng)典AI的代表人物，...草莓o1模型OpenAI詳解大規(guī)模基礎(chǔ)模型中的幻覺(jué)問(wèn)題（幻覺(jué)檢測(cè)、緩解、任務(wù)、數(shù)據(jù)集和評(píng)估指標(biāo)）
精華論文鏈接：https:arxiv.orgpdf2405.09589亮點(diǎn)直擊在大規(guī)模基礎(chǔ)模型的背景下建立了幻覺(jué)的精確定義和結(jié)構(gòu)化分類(lèi)。識(shí)別出導(dǎo)致不同模態(tài)中幻覺(jué)出現(xiàn)的關(guān)鍵因素和機(jī)制。提出了在多模態(tài)環(huán)境中解決幻覺(jué)問(wèn)題的各種檢測(cè)和緩解策略。提供了關(guān)于大規(guī)模基礎(chǔ)模型中幻覺(jué)技術(shù)的方法論的綜合總結(jié)，詳細(xì)介紹了其幻覺(jué)檢測(cè)、緩解、任務(wù)考慮、使用的數(shù)據(jù)集和評(píng)估指標(biāo)。這將為讀者提供該領(lǐng)域最新進(jìn)展的簡(jiǎn)明概覽。總結(jié)速覽解決的問(wèn)題在大規(guī)模基礎(chǔ)模型中...模型技術(shù)超越Sora！全球首個(gè)帶背景音樂(lè)，文生1080超高清視頻模型
全球社交巨頭Meta發(fā)布最新大模型MovieGen，正式進(jìn)軍文生視頻領(lǐng)域。MovieGen共有300億參數(shù)，能以每秒16幀直接生成16秒的1080P超高清視頻，還提供精準(zhǔn)的視頻剪輯、個(gè)性化功、不同寬高比適配等多元化功能。最大技術(shù)亮點(diǎn)是，MovieGen能直接生成帶精準(zhǔn)配樂(lè)的視頻，目前Sora、Runway、Luma等一線產(chǎn)品都無(wú)法提供該功能。有網(wǎng)友對(duì)MovieGen的全面化功能相當(dāng)震驚，表示，Meta比OpenAI更高的發(fā)布了Sora。基本上都是一片Amazing，足以看出Mo...視頻生成模型蘋(píng)果開(kāi)源高清擴(kuò)散模型MDM，能在多個(gè)分辨率下同時(shí)去噪
擴(kuò)散模型已經(jīng)成為文本生成圖像、視頻的主要框架之一，其基本原理是通過(guò)逐步引入噪聲并在反向過(guò)程中去除噪聲來(lái)生成數(shù)據(jù)。但在生成2K、4K高分辨率時(shí)，面臨巨大的算力需求和時(shí)間消耗。為了解決這一難題，蘋(píng)果的研究人員開(kāi)源了高清擴(kuò)散模型MatryoshkaDiffusionModels（簡(jiǎn)稱(chēng)“MDM”），通過(guò)引入一種特殊的擴(kuò)散過(guò)程可在多個(gè)分辨率下同時(shí)進(jìn)行去噪，并使用NestedUNet架構(gòu)，將小尺度輸入的特征和參數(shù)嵌套在大尺度的結(jié)構(gòu)中，允許模型在不...模型訓(xùn)練大模型的訓(xùn)練與調(diào)優(yōu)，SFT(監(jiān)督微調(diào))和RLHF(基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí))到底是什么？
原創(chuàng)“大模型設(shè)計(jì)，訓(xùn)練，微調(diào)，強(qiáng)化是一個(gè)系統(tǒng)性的過(guò)程”大模型的訓(xùn)練和調(diào)優(yōu)是一個(gè)系統(tǒng)性的，復(fù)雜性的過(guò)程；為此，研究人員為大模型的訓(xùn)練和微調(diào)設(shè)計(jì)了詳細(xì)的方案。今天就是介紹一下大模型優(yōu)化的兩個(gè)方法論，SFT——監(jiān)督微調(diào)和RLHF——基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)。什么是SFT和RLHF？下面是關(guān)于這兩個(gè)概念的簡(jiǎn)單釋義：SFT中文釋義為：一種通過(guò)監(jiān)督學(xué)習(xí)進(jìn)行模型微調(diào)的方法。RLHF的釋義為：一種利用人類(lèi)反饋進(jìn)行強(qiáng)化學(xué)習(xí)的方法，該方法通...大模型微調(diào)大模型技術(shù)進(jìn)階路線，有了基礎(chǔ)應(yīng)該怎么進(jìn)階？
原創(chuàng)“高性能大模型的打造，是一項(xiàng)復(fù)雜的系統(tǒng)性工程”在上一篇文章中講了學(xué)習(xí)大模型的基礎(chǔ)路線，而如果是對(duì)有一定基礎(chǔ)的人來(lái)說(shuō)，應(yīng)該怎么進(jìn)階呢？也就是說(shuō)大模型更加高級(jí)的技術(shù)棧有哪些？一個(gè)好的基礎(chǔ)能夠讓你在學(xué)習(xí)的道路上事半功倍，但絕對(duì)不是學(xué)習(xí)的終點(diǎn)，大模型技術(shù)也不外如是。大模型的進(jìn)階學(xué)習(xí)路線在上一篇的文章中介紹了大模型的基礎(chǔ)學(xué)習(xí)路線，比如基礎(chǔ)理論，編程，深度學(xué)習(xí)框架等等。以上技術(shù)都屬于大模型技術(shù)的基礎(chǔ)，不論...大模型大模型技術(shù)基礎(chǔ)學(xué)習(xí)路線，想要學(xué)好大模型應(yīng)該具備哪些能力？
原創(chuàng)“大模型技術(shù)的基礎(chǔ)學(xué)習(xí)，是未來(lái)在大模型領(lǐng)域能否站穩(wěn)腳跟的關(guān)鍵”隨著大模型技術(shù)的發(fā)展，越來(lái)越多的人開(kāi)始進(jìn)入大模型領(lǐng)域，但大模型作為一門(mén)技術(shù)，因此它的本質(zhì)上是一個(gè)工具，因此這也讓學(xué)習(xí)大模型有了不同的學(xué)習(xí)方向。從工具的角度來(lái)看，學(xué)習(xí)一個(gè)工具主要有兩個(gè)方向，一個(gè)是使用工具，一個(gè)是制造工具；而今天我們主要講的是后者，也就是怎么制造一個(gè)大模型工具，它需要哪些技術(shù)基礎(chǔ)。大模型基礎(chǔ)技術(shù)路線下面主要從以下幾個(gè)技...大模型自然語(yǔ)言處理醫(yī)療圖像分割中的深度學(xué)習(xí)方法
原創(chuàng)深度學(xué)習(xí)大大提高了醫(yī)療圖像分割的準(zhǔn)確度和效率，本文將探討常用技術(shù)及其應(yīng)用。采用深度學(xué)習(xí)技術(shù)已經(jīng)使醫(yī)療成像發(fā)生了革命性的變化。使用機(jī)器學(xué)習(xí)的這一分支開(kāi)創(chuàng)了醫(yī)療圖像分割精度和高效的新時(shí)代，而醫(yī)療圖像分割是現(xiàn)代醫(yī)療保健診斷和治療計(jì)劃的一個(gè)核心分析過(guò)程。通過(guò)利用神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)算法能夠以前所未有的精度檢測(cè)醫(yī)療圖像中的異常。這項(xiàng)技術(shù)突破有助于重塑我們對(duì)待醫(yī)療圖像分析的范式。從改善早期疾病檢測(cè)到促進(jìn)個(gè)性...深度學(xué)習(xí)機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)
