AI.x社區
- 登錄/注冊
利用多Lora節省大模型部署成本
精華如何把多個大模型合并部署以節省成本呢？本文將深入探討這一技術與應用場景，利用多Lora合并部署大模型。一、背景近期，我們在大模型集群的部署過程中遇到了一些挑戰。公司有多個業務場景，每個場景都基于自身的數據進行微調，訓練出相應的大模型并上線。然而，這些場景的調用量并不高，同時大模型的部署成本較為昂貴，這造成了資源的浪費。本文將介紹我們如何利用多Lora技術，將多個場景合并部署，從而有效解決這一問題。同時...Lora模型部署AI給《黑神話：悟空》生成了一個宣傳片…看完我沉默了
精華足足等了四年，《黑神話：悟空》，終于來了！但我們上班的“嗎嘍”玩不著，于是靈光一閃，不妨用AI的方式來解猴癮——用AI給《黑神話：悟空》生成一個宣傳片。說干就干。我們以官方的最新宣傳片做模板，小伙伴們可以先欣賞一波：《黑神話：悟空》最終預告我們的操作方式是這樣的——截取最新宣傳片中的多個關鍵幀，然后用智譜AI的清影（免費、無限次）生成視頻片段，最終將它們拼接到一起。操作上并沒有什么難度，等待時長也是...AI生成Transformer，會笑到最后嗎？
原創出品51CTO技術棧（微信號：blog51cto）Transformer架構為當今最流行的公共和私有AI模型提供支持。那么我們想知道——接下來是什么？這種架構是否會帶來更好的推理？Transformer之后會是什么？一、Transformer的問題及其挑戰者們Transformer架構的自注意力機制允許模型同時衡量每個輸入token對輸入序列中所有token的重要性。通過捕獲長距離依賴關系和復雜的token關系，這有助于提高模型對語言和計算機視覺的理解。然而，這意味著...TransformerAIGenAIAgentWrite：為什么你的模型生成的內容長度總是不超過2K?
精華1.為什么要研究LongWriter隨著大語言模型的發展，越來越多的大語言模型都具備了長上下文能力，甚至有的達到了100萬token。但是，相較于大家關注的海量輸入，大模型的生成長篇幅的內容時就顯得力不從心了。圖片比如，如上圖，作者在各種模型上要求生成超過2000字的內容時，基本上都沒有成功。隨著提示詞中要求輸出的內容長度的增加，輸出的最終長度始終停留在2K左右。但是，在對WildChat的用戶日志分析時發現，有1%的用戶明確要...模型內容長度網絡AI架構系列：去其形而留其意
原創最近很多的咨詢都在問我相同的問題，如何將LLM集成到垂直領域的業務場景。這里提到的場景當然這些場景不再是生成式應用，而是較為專業的領域。我翻了一篇三月份的論文，以這篇論文來回答讀者的問題。其實就是要將LLM去其形，而留其意。LLM的主要戰場還是在于自然語言的理解。其一它的特點是大，其二它的內核為Transformer引擎，這種引擎能夠在所有的輸入中提取有用的關聯信息。這些信息可以是自然語言識別，也可以是時序數據，...AI架構生成式高效打造知識圖譜，使用LlamaIndex Relik實現實體關聯和關系抽取
精華文本信息轉化為知識圖譜的技術，自問世以來一直是研究界的寵兒。大型語言模型（LLMs）的興起讓這個領域受到更多關注，但LLMs的成本之高令人卻步。然而，通過對小型模型微調優化，我們可以找到一種更經濟高效的解決方案。今天向大家介紹Relik，這是由羅馬大學（SapienzaUniversityofRome）自然語言處理團隊精心研發的快速、輕量級信息提取框架。1信息提取流程在不依賴LLMs的情況下，信息提取流程通常包括：上圖呈現了信息提取的...圖譜LlamaIndexRelikMulti-Meta-RAG：langchain點名，評論爆吹的新研究
嘿，大家好！這里是一個專注于AI智能體的頻道！今天來聊聊一篇挺有意思的論文，被langchain官方點名，很多評論推薦的文章！MultiMetaRAG:ImprovingRAGforMultiHopQueriesusingDatabaseFilteringwithLLMExtractedMetadata檢索增強生成（RAG）支持從外部知識源檢索相關信息，并允許大型語言模型（LLM）回答對以前看不見的文檔集合的查詢。然而，研究表明，傳統的RAG應用程序在回答多跳問題方面表現不佳，這些問題需要檢索和推理支...LLM元數據MacBook終于有人將多模態重點內容做成了動畫
原創多模態學習可以看作是深度學習的一個細分領域，利用不同類型的神經網絡來處理不同模態（如圖像、文本、音頻等）的數據。多模態任務大體可以分為理解和生成兩大類，生成任務又分為文生圖和圖生文。?CLIP是入門多模態的最佳選擇，后續多模態模型基本上都延續了它的思想：分別用圖像編碼器和文本編碼器將圖像和文本編碼到一個共享的特征空間中，然后通過多模態融合方法將配對的圖像文本特征向量拉進。[CLIP]手書動畫??[1]給定?...多模態LabelU：一個強大且易用的多模態數據標注工具
原創LabelU是一款開源的多模態數據標注工具，它支持圖像、視頻和音頻等多種類型的數據標注，適用于機器學習和人工智能領域的數據預處理。LabelU提供了豐富的標注功能，包括但不限于圖像分類、目標檢測、語義分割、音頻轉錄和視頻標注等任務。它通過靈活多樣的標注工具和直觀的操作界面，大大提升了數據標注工作的效率和質量。同時支持本地部署所有數據本地化保證了數據安全性。在線demo標注工具：??https:opendatalab.github.iola...多模態數據標注LabelU大模型RAG架構落地的十大挑戰
原創0、RAG簡介RAG（RetrievalAugmentedGeneration）結合知識庫檢索與大模型回答，確保信息可靠且精準，同時節省了微調成本。RAG流程簡要概括為3步，對應其名：1、檢索：借助Embedding，將問題轉化為向量，比對知識庫，選取最相關的TopK知識。2、增強：結合檢索出的上下文和問題，構造Prompt。3.生成：將Prompt輸入大模型，產出答案。從工程視角劃分，RAG實施分為兩階段：階段一：離線數據預處理：涵蓋知識文件導入、文本切分、向量...RAG大模型一個更小、更快、更干凈的 GraphRAG！！
原創1、nanoGraphRAG簡介nanoGraphRAG：一款簡潔且易于定制的GraphRAG實現。??GraphRAG確實功能強大，但官方的實現版本閱讀與修改起來頗為不易。??本項目為您呈現了一個更為精簡、高效、清晰的GraphRAG版本，同時保留了其核心特性。??nanoGraphRAG的代碼量大約只有800行，除了測試和示例之外。??短小精悍，易于擴展，支持異步操作，且完全采用類型注解。Github地址：https:github.comgusye1234nanographrag2、nanoGraphRAG部署和使...GraphRAG成本降低90%！Anthropic 推出新 Claude 提示緩存！開發人員將省去一大筆錢
原創編輯星璇出品51CTO技術棧（微信號：blog51cto）Anthropic和OpenAI的競爭日趨白熱化，前不久OpenAI發布了更便于開發者定制輸出的jsonAPI，沒過多久Anthropic也開始發布了一項利好開發者的消息：終于不必重復調用同樣地提示了！Anthropic在其API上引入了提示緩存，它可以記住API調用之間的上下文并允許開發人員避免重復提示。簡單來講，新版API可以“記住”一整本書或整個代碼庫，不需要再重復輸入了。這樣一來，不僅處理長文本的...Anthropic緩存LLM高能！谷歌前CEO斯坦福大學演講內容泄露，直指 AI 是強者之間的游戲，“富者更富，窮者唯有盡力而為”
原創整理諾亞出品51CTO技術棧（微信號：blog51cto）前谷歌CEO埃里克·施密特最近訪問了斯坦福大學并發表了演講。最初，施密特誤以為這是一場閉門會議，并告訴在場學生們會議內容需要保密。然而，實際上會議正通過網絡進行同步直播。這一烏龍導致施密特在輸出觀點時格外“直言不諱”。盡管斯坦福大學之后迅速從YouTube上移除了直播視頻，但在那之前已有大量觀眾同步觀看并且存了副本。值得一提的是，施密特在擔任谷歌CEO的十年間（20...谷歌AI創業一篇大模型NL2SQL全棧技術最新綜述
隨著LLM的出現，NL2SQL的性能得到了極大的提升，這顯著降低了訪問關系數據庫的障礙，并支持各種商業應用。本文提供了一個全面的NL2SQL技術綜述，覆蓋了整個生命周期，包括模型、數據、評估和錯誤分析四個方面。全文概述：NL2SQL任務的全生命周期NL2SQL問題與背景對NL2SQL任務進行了定義，并介紹了人類執行NL2SQL任務的工作流程與關鍵挑戰，并描述了基于語言模型發展的NL2SQL解決方案的演變。NL2SQL任務定義問題表述：NL2SQL，也...NL2SQL全棧技術多智能體大模型協作中的角色不一致性：一致性、虛構性和模仿性
多智能體AI系統近年來在模擬集體決策和增強聊天機器人文化敏感性方面展現出巨大的潛力。這些系統通過模擬多種社會文化身份的AI代理，能夠在科學研究和實際應用中提供寶貴的洞察。例如在行為實驗中，多智能體系統可以模擬人類群體互動，幫助研究人員理解群體決策的動態。此外，在聊天機器人應用中，加入多樣化的群體討論步驟，可以使機器人的響應更加細膩和文化敏感，提升用戶體驗。然而，這些應用的成功依賴于AI代理能夠可靠地...模型虛構性模仿性史上最強文生圖模型？谷歌Imagen3內部詳細評估資料解讀
精華文章鏈接：https:arxiv.orgpdf2408.07009亮點直擊Imagen3，目前Google最好的文生圖擴散模型，是一種潛在擴散模型，可以從文本提示生成高質量的圖像。詳細描述了Imagen3質量和責任評估，發現Imagen3相比其他SOTA模型更受歡迎。討論了安全和表征問題，以及用于最小化本文模型潛在危害的方法。數據Imagen3模型在一個大型數據集上進行訓練，該數據集包含圖像、文本和相關注釋。為了確保質量和安全標準，本文采用了多階段的過濾過程...文生圖模型具身智能成敗之關鍵！干貨長文首次全面回顧具身智能領域中的視覺-語言-動作模型！
文章鏈接：https:arxiv.orgpdf2405.14093亮點直擊本綜述是關于具身智能領域中新興的視覺語言動作模型的首次全面回顧。全面回顧。對具身智能領域中涌現的VLA模型進行了全面回顧，涵蓋了架構、訓練目標和機器人任務等各個方面。分類法。引入了當前機器人系統的分層結構分類法，包含三個主要組件：預訓練、控制策略和任務規劃器。預訓練技術旨在增強VLAs的特定方面，如視覺編碼器或動力學模型。低層次控制策略根據指定的語言命令和...AI策略必須為孩子存下來的提示詞，像玩RPG游戲一樣學習
正如飛行員、醫生、卡車司機和運動員通過在低風險環境中練習技能而提升表現，學生在被賦予探索、犯錯并調整策略的機會時，也能更有效地學習。角色扮演情境，即學生扮演特定角色并嘗試解決商業問題，提供了豐富的實踐機會。這樣的情境為學生提供了一個無風險的環境，讓他們能夠測試自己的知識和練習做出關鍵決策。然而，市面上現有的角色扮演材料，無論是線上還是紙質的，可能與我們課程的具體學習目標不完全一致，也無法適應不...RPGAI場景高維多變量下的Transformer時序預測建模方法
今天給大家介紹一篇CIKM2024中的時間序列預測工作，這篇文章針對高維多變量時序預測問題，提出了一種基于Transformer的建模方法。論文標題：ScalableTransformerforHighDimensionalMultivariateTimeSeriesForecasting下載地址：??https:arxiv.orgpdf2408.04245v1??1.背景現在的時間序列預測主要研究點都是如何擴長能夠建模的歷史長度和未來長度，也就是時間維度上的擴展。比較少的工作研究如何建模變量維度上的擴展。在多變...Transformer時序預測Gamma創始人暢談現象級AI+PPT產品是怎么做出來的？
?最近，現象級AI+PPT產品Gamma的創始人GrantLee和JonNoronha在一次深入訪談中，分享了他們公司的成長歷程、產品理念、市場戰略，以及他們對人工智能的深刻見解。Gamma的創始團隊成功地將生成式AI技術應用于幻燈片制作，自公司成立以來，已在全球范圍內吸引了2000萬用戶。這一成就不僅令人矚目，而且其背后的經驗教訓也極具借鑒價值。在訪談中，他們回顧了創業的初衷，講述了產品從誕生到成熟的成長歷程，以及如何利用AI技術克...AIPPT產品
