AI.x社區
- 登錄/注冊
小模型和開源正在成為AI發展的變數
原創編譯丨諾亞出品51CTO技術棧（微信號：blog51cto）在IT行業，“精益”常用來描述追求更高效率和成本效益的流程，生成式AI也不例外。一些企業的AI系統運行成本高達數百萬美元，并消耗大量電力，促使企業尋求更高效、精益的AI解決方案。企業自然傾向于借助公共云快速部署生成式AI，因其提供便捷的一站式服務。大型云服務商已從AI投資中獲益。但使用云服務的成本有時會超過傳統數據中心，盡管如此，企業仍在尋找有效降低成本的方法...AI小模型開源大模型技術細節——大模型之文本生成與文檔總結
原創“大模型就是一個黑盒，盒子外面的人一直在霧里看花”我們一直在說大模型大模型，但大部分人都沒深入研究過大模型的具體實現以及隱藏在大模型這個黑盒下的技術細節。思考個問題，根據要求讓大模型生成一段文字和給大模型一個PDF文本，讓它總結文本內容，這兩種方式是同一種大模型嗎？文本生成大模型和文檔總結大模型很多人都簡單的認為，生成文本的模型和進行文檔總結的模型是一回事，都屬于文本處理模型。因為從使用者的角度來...生成式AI人工智能應用大模型的分類——生成式大模型和判別式大模型聯系與區別
原創“明白模型的類型，才能明白模型的應用”在學習機器學習的過程中，生成式模型和判別式模型是兩個經典類型的模型，弄明白兩者之間的聯系與區別是一個非常重要的事情，也會加深對大模型的理解。那么什么是生成模型和判別模型呢？生成式模型和判別式模型的區別與聯系生成式模型和判別式模型是兩種不同的機器學習類型，它們之間具有不同的目標和應用場景，很重要的一點是不論生成式模型還是判別式模型，都是基于監督學習的機器學習...大模型生成式AI人工智能應用實踐出真知：Agents 領域“一年打怪升級”的經驗分享
原創 精華編者按：在你構建AIAgents時，是否曾遇到這些困擾：總是在簡單任務上出錯，從而讓你有時會懷疑自己的技術水平？面對客戶的需求，AIAgent表現得像個“笨蛋”，無法準確理解和執行指令？隨著底層模型的更新，AIAgents的性能不升反降，讓人手足無措？這些問題不僅影響了AIAgents的性能，甚至可能導致項目延期、成本超支，甚至失去客戶的信任。在AI技術飛速??發展的今天，任何一個表現不佳的Agents都可能很快被市場淘汰。今天我們分...AI AgentsLLMs超越DiffEdit、SDEdit等6大編輯模型！字節等提出人像服飾、卡通表情編輯新SOTA！
精華文章鏈接：https:arxiv.orgpdf2407.20455亮點直擊：一種數據生成技術，提供了具有更好身份和布局對齊的配對數據；一種多條件擴散模型，能夠生成保留特征的結果，并在推理中提供準確的編輯mask指導；實現了最先進的人像編輯效果?，F有的技術在進行人像編輯時面臨挑戰，難以保留主體特征（如身份）。本文提出了一種基于訓練的方法，通過自動生成的配對數據來學習所需的編輯，同時確保保留未更改的主體特征。具體來說，本文設計了...模型生成如何拯救LoRA初始化？LoRA-GA：性能顯著提升+收斂速度更快！
文章鏈接：https:arxiv.orgpdf2407.05000亮點直擊提出了LoRAGA，一種新穎的LoRA初始化方法，通過近似低秩矩陣的梯度與全權重矩陣的梯度來加速收斂。確定了在非零初始化下的縮放因子，該因子確保適配器輸出的方差不受適配器的秩和輸入維度的影響。通過廣泛的實驗驗證了LoRAGA，證明了與原版LoRA相比，其性能顯著提升且收斂速度更快。具體而言，LoRAGA在T5Base的GLUE子集上比LoRA提高了5.69%，在Llama27B上在MTbench、GSM8K和Huma...模型訓練阿里「軌跡可控版Sora」，告別「抽卡」，讓視頻生成更符合物理規律
目前，擴散模型能夠生成多樣化且高質量的圖像或視頻。此前，視頻擴散模型采用UNet架構，主要側重于合成有限時長（通常約為兩秒）的視頻，并且分辨率和縱橫比受到固定限制。Sora的出現打破了這一限制，其采用DiffusionTransformer（DiT）架構，不僅擅長制作10到60秒的高質量視頻，而且還因其生成不同分辨率、各種縱橫比、且遵守實際物理定律的能力而脫穎而出?？梢哉fSora是DiT架構最有利的證明，然而，基于Transformer的擴散模型...視頻生成AI如何檢測并盡量減少AI模型中的幻覺？
原創我們幾乎每天都會聽到關于更廣泛地成功實施AI工具的故事。隨著ChatGPT、Midjourney及其他模型向公眾開放，越來越多的人開始在日常生活中依賴AI。雖然機器學習算法很明顯能夠滿足更具挑戰性的需求，但它們還不夠完美。AI頻繁出現的幻覺問題阻礙它們成為人類最可靠的替代者。雖然對于普通用戶來說，AI錯誤只是一笑了之的小故障，但對于業務流程來說，這種不可預測性可能導致各種后果，輕則失去客戶信任，重則官司纏身。一些國家已...AI模型LLMAI幻覺Agent Planning大揭秘：輕松拿捏多計劃選擇！
在人工智能的世界里，我們經常面臨一個挑戰：如何讓機器像人類一樣，面對復雜任務時，能夠生成多種可能的解決方案，并從中選擇最優的計劃呢？這正是“多計劃選擇”（MultiPlanSelection）要解決的問題。今天，咱們就來聊聊這個有趣的話題。首先，想象一下，如果我們的智能Agent面對一個復雜的問題，它可能會生成多個計劃。但是，這些計劃可能各不相同，甚至有些可能根本不可行。這時候，多計劃選擇就派上用場了。它包括兩個主要...Agent智能節點亞馬遜 RAG 新突破：REAPER 技術開啟大型智能對話助手新境界
Rufus：亞馬遜新一代智能購物助手今年2月份，亞馬遜在新一代大語言模型和RAG技術的賦能下，推出了新的智能購物助手：Rufus。Rufus能夠解答顧客關于購物需求、產品對比等問題，并基于這些信息提供建議，幫助顧客發現產品。Rufus采用了RAG（檢索增強生成）框架，通過大型語言模型（LLM）結合一個或多個檢索來源的證據來生成對顧客查詢的回應。作為一個復雜的對話系統，Rufus覆蓋了非常多的用戶關心的領域，因此必須從龐大的數據存...亞馬遜RAG智能LLM 推理的 Attention 計算和 KV Cache 優化：PagedAttention、vAttention 等
一、背景最近，SGLang引起了廣泛關注，出現了許多“SGLang吊打vLLM和TRTLLM”的言論。不得不說，SGLang確實是一項非常出色的工作。與此同時，vLLM的性能問題和TRTLLM的易用性問題也廣受詬病，但是在實際應用中，我們仍然需要保持理性。比如，已經使用了LMDeploy或TRTLLM，是否要在當前階段切換到SGLang；SGLang在對應的場景是否一定有這么大的提升？不過，本文中并非要介紹SGLang，而是旨在探討vLLM的基石——PagedAttention的...LLMKV計算一篇模塊化RAG之最新全面系統性綜述
RAG訪問外部知識庫增強了LLMs處理知識密集型任務的能力，隨著應用場景需求的增加，RAG系統變得更加復雜。傳統的RAG依賴于簡單的相似性檢索，面對復雜查詢和變化多端的文本塊時表現不佳：對查詢的淺層理解、檢索冗余和噪聲。樸素RAG和高級RAG的案例。面對復雜問題時，兩者都遇到了限制，難以提供令人滿意的答案。盡管高級RAG通過分層索引、檢索前和檢索后的過程提高了檢索精度，但這些相關文檔并沒有被正確使用。提出了一種新的...RAGLLMsRAG第一人稱基礎模型——情感與生理數據在AI中的應用
精華傳統的基礎模型，如ChatGPT和DallE，通常基于大量互聯網數據進行訓練。這些數據包括文本、圖像和音頻，通常通過公共數據存儲庫（如CommonCrawl）獲取。盡管這些模型在生成內容方面表現出色，但它們缺乏對人類情感和生理反應的真實模擬。因此當前的基礎模型只能在表面上近似人類行為，而無法深入理解和模擬人類的情感和生理狀態。情感和生理狀態在我們的決策和行為中起著核心作用。Damasio的體標記理論和Goel的系繩理性理論都強...AI模型Chat-GPT基于Llama3，為本地文件創建生成式AI搜索引擎
精華本文分享一個開源項目——一款創新的生成式搜索引擎，能夠實現用戶與本地文件的智能互動。此項目在微軟Copilot等現有工具的基礎上，推出了一種開放源代碼的替代方案，旨在推動技術共享與創新。1系統設計為構建本地生成式搜索引擎或助手，需要幾個組件：內容索引系統：負責存儲本地文件內容，并配備信息檢索引擎，以便高效地搜索與用戶查詢或問題最相關的文檔。語言模型：用于分析選定的本地文檔內容，并據此生成精煉的總結性答...Llama3AI搜索引擎“年輕的”IMO選手：掃蕩“圍棋”后，開始掃蕩“數學”
原創谷歌稱著名數學家蒂莫西·高爾斯爵士（SirTimothyGowers）和約瑟夫·邁爾斯（JosephMyers）博士使用國際海事組織（IMO）的官方規則對人工智能模型的解決方案進行了評分。該公司報告稱，其組合系統獲得了42分中的28分，略低于29分的金牌門檻。AlphaProof解決了兩個代數問題和一個數論問題，而AlphaGeometry2解決了幾何問題。這包括在比賽中最難的問題上獲得滿分，谷歌聲稱今年只有五名人類參賽者解決了這個問題。圖表顯示了Alpha...谷歌AlphaProof形式語言使用語言模型模擬五億年的進化歷程
精華一、結論寫在前面論文標題：Simulating500millionyearsofevolutionwithalanguagemodel論文鏈接：??https:www.biorxiv.orgcontent10.11012024.07.01.600583v1.full.pdf??超過三十億年的進化歷程將生物學圖像編碼到天然蛋白質的空間中。論文在由進化生成的token上訓練的語言模型可以作為進化模擬器，生成與已知蛋白質相距甚遠的功能性蛋白質。論文提出ESM3，一種前沿的多模態生成語言模型，該模型能夠推理蛋白質的序列、結構...語言模型模擬遺忘"大腦？香港中文大學提出新算法MoFO助力AI記住預訓練知識！
引言：大型語言模型在微調過程中的遺忘問題在人工智能領域，大型語言模型（LLM）因其在多種任務中展示出的卓越能力而備受關注。這些模型通常先在大規模語料庫上進行預訓練，以掌握廣泛的語言能力，然后在特定任務的數據集上進行微調，以適應具體的應用場景。然而，微調過程中一個常見且棘手的問題是模型可能會忘記在預訓練階段獲得的知識，這種現象被稱為“遺忘”。遺忘問題不僅降低了模型的通用性能，還可能影響到模型在新任務...算法MoFOAI如何改良基于Basis的時間序列預測模型？
今天介紹一篇NIPS2023中上海交大和螞蟻集團聯合發表的時間序列預測文章，基于basis的時間序列建模。目前代碼已經開源，論文的詳細信息如下。論文標題：BasisFormer:AttentionbasedTimeSeriesForecastingwithLearnableandInterpretableBasis下載地址：??https:arxiv.orgpdf2310.20496v1.pdf??機構：上海交大開源代碼：??https:github.comnzl5116190Basisformer??1.基于Basis的時序預測在時序預測中，basis指的是從時間序...Basis時間序列預測模型高盛洞察：生成式AI：投入很高，收益太少？
本文翻譯自高盛的最新報告《GenAI:Toomuchtospend,toolittlebenefit》，高潮過后，更多的人開始審視生成式AI帶來的實際收益問題。生成式AI技術將對公司、行業乃至整個社會的帶來變革的承諾持續受到推崇，預計在未來數年中，科技巨頭、各類企業和公共事業單位將在資本開支上投入約1萬億美元，這包括對數據中心、芯片、AI基礎設施以及電網的重大投資。然而，迄今為止，除了開發商效率提升的報道外，這些投資似乎并未帶來顯著成果...生成式AINvidiaMidjourney V6.1再進化！人像逼真細節拉滿，攝影級畫面秒生成
精華Midjourney幾個月前畫的餅終于端上來了！他們今天剛剛發布了最新版本v6.1！此次更新總結四個大字：細節狂魔。網友紛紛發推測試最新版本的Midjourney，攝影級畫面先睹為快！這張圖被取名為《天窗》，構圖、色彩、光影、明暗，各方面都極度舒適，湖面波光粼粼細節生動，簡直可以直接用來做屏保。繼續看一幅風景，曙光撥開云層，遠處群山連綿，積雪未消；植被茂密，松樹紋理逼真，一片靜謐祥和。接著看一組靜物，原本需要大量人力...視頻生成
