AI.x社區
- 登錄/注冊
阿里巴巴達摩院、新加坡科技設計大學和南洋理工大學聯合團隊提升AI多步推理能力的新方法
大模型在處理更復雜的問題時，仍然容易在推理過程中出現錯誤，導致推理路徑偏離，最終影響模型的整體性能。現有的大語言模型在多步推理任務中，通常會由于推理路徑中某一步驟的錯誤而影響整個推理過程。這些錯誤不僅降低了模型的準確性，還增加了計算成本和執行延遲。傳統的方法如強化學習需要復雜的獎勵模型，而其他偏好優化方法往往忽視了多步推理任務中錯誤發生的具體步驟及其后續分支。為了解決這些問題，阿里巴巴達摩院、...AI多步推理能力基于知識圖譜的LangChain應用實戰
圖檢索增強生成（GraphRAG）正逐漸流行起來，成為傳統向量搜索方法的有力補充。這種方法利用圖數據庫的結構化特性，將數據以節點和關系的形式組織起來，從而增強檢索信息的深度和上下文關聯性。示例知識圖譜圖在表示和存儲多樣化且相互關聯的信息方面具有天然優勢，能夠輕松捕捉不同數據類型間的復雜關系和屬性。而向量數據庫在處理這類結構化信息時則顯得力不從心，它們更擅長通過高維向量處理非結構化數據。在RAG應用中，結合...LangChain知識圖譜圖檢索Kimi 我的神，它終于更新了！這個探索版，有點牛！
最近消失了近一個月，我胡漢三回來了。確實因為工作太忙了，國慶假期也回了趟老家，讓自己好好放松了一個月。現在還真想抽自己，AI領域日新月異，更新的實在是太快了。一個月已然又發生了巨大變化，自己都有些落后了。就在前兩天，kimi在距離上次發布生成PPT功能也已有兩月有余，中間沒有任何更新，這次它帶著探索版歸來了。這兩天體驗了一下，與以往的AI搜索對比，確實更加深入。怎么使用呢？很簡單，只要你在kimi對話框里輸入...Kimi探索版更新KDD'24大廠推薦系統優化工作總結
今天這篇文章給大家介紹幾篇KDD2024中，大廠在推薦系統領域的優化工作，論文來自愛彼迎、騰訊、快手、美團等公司，設計多目標建模、多樣性、搜索意圖建模、rankingloss等問題。1.愛彼迎：多目標建模和模型蒸餾論文標題：MultiobjectiveLearningtoRankbyModelDistillation下載地址：https:arxiv.orgpdf2407.07181多目標建模轉換成模型蒸餾問題。多目標的場景要求最小化一個目標的預測誤差，同時其他目標的預估誤差在一個約束內。...推薦系統優化Mistral AI 發布革命性邊緣模型 Ministral 3B 和8B：性能與隱私雙料俱佳
近日，MistralAI發布了兩款新型邊緣模型——Ministral3B和Ministral8B，引發了科技界的廣泛關注。這兩款模型不僅在性能上表現出色，更在隱私保護方面獨具優勢。圖片性能卓越，隱私優先Ministral3B和8B專為設備端計算設計，能夠處理長達128k的文本信息。特別是Ministral8B，采用了創新的滑動窗口注意力機制，顯著提升了運算速度和內存效率。此外，這兩款模型均以隱私保護為設計核心，確保數據在本地處理，降低數據泄露風險。多場...AIMinistral性能不用羨慕Mac用戶！ChatGPT Windows版本開放了！OpenAI能成為王牌級辦公套件嗎？
原創OpenAI又又又搞了點花活！此前macOS系統才有的桌面應用，終于登陸Windows了！主打一個Alt+Space快捷拉取，更快人一步地向GPT提問。圖片雖然，目前都是充值玩家（ChatGPTPlus、Enterprise、Team和Edu用戶）才可以測試。但他們也承諾說，以后會開放給全部用戶體驗。圖片想要一手體驗的朋友，現在可以移步MicrosoftStore下載Windows應用程序。圖片下載地址：https:www.microsoft.comstoreapps9NT1R1C2HH7J我們發現，ChatGPT桌面版...MacChatGPTWindows阿里商業級視頻生成框架——軌跡控制版視頻生成 Tora 重磅開源！
論文鏈接：https:arxiv.orgpdf2407.21705項目鏈接：https:alivideoai.github.iotoravideo代碼鏈接：https:github.comalibabaTora阿里團隊最近在GitHub上推出了其創新的文生視頻生成工具——Tora，為學術界和開源社區提供了新的研究資源。Tora基于先進的DiT框架，專注于軌跡控制的視頻生成。此次開源的版本包括了完整的推理代碼和模型權重，旨在為研究人員和開發者提供高效的工具，促進技術交流與學習。從GitHub上的README文件來...模型框架豐田、波士頓動力聯手開發，實體大型行為模型機器人
豐田在官網宣布與波士頓動力聯合開發實體大型行為模型（LBM）機器人，以加速Atlas的通用能力和商業化場景。LBM的運行模式與ChatGPT等大模型類似，但LBM不能生成文本、圖片等，而是幫助實體機器人能夠通過觀察人類行為來學習各種物理任務，例如，炒菜、做飯、照顧老人等。豐田希望將自己的LBM技術與波士頓動力的招牌機器人Atlas相結合，將很多不可能、電影中的場景實現。豐田自研的LBM技術通過分析大量的人類互動數據，使機器人...波士頓機器人剛剛，OpenAI開放ChatGPT Windows版本，可像Office那樣使用了
精華今天凌晨OpenAI宣布向所有ChatGPTPlus、Enterprise、Team和Edu用戶，提供Windows桌面應用早期版本。用戶可在微軟的應用商店中下載，安裝完成后通過Alt+Space快捷鍵就能迅速啟用，提供文件分析、搜索對話、文本生成等功能，使用體驗相當絲滑和Office一樣。目前，OpenAI已經開放了Mac、Windows兩大操作系統的桌面版本，唯獨沒有對Linux做出明確的發布時間安排，所以，不少用戶詢問何時能開放該平臺版本。OpenAI還沒有給出詳細的日...OpenAIChatGPT使用OpenAI和Kumologica對用戶支持請求進行智能分類
原創本文將討論如何使用Kumologica中AI代理和OpenAI平臺，實現智能案例分類場景的設計。本文將演示如何使用??Kumologica??和??OpenAI??協助開發出AI代理API。此類API可以使用用戶提交的信息，有效地對企業內生成的用戶支持請求案例進行分類，而無需客戶支持代理（即：Helpdesk之類的接單人員）的干預。從實用性角度考慮，這樣的API管理方案可以自動對來自各種渠道的案例，進行分類和優先級的判定，識別出那些高優先級的案例...OpenAIKumologicaAI代理LightRAG開源了！輕巧、強大，GraphRAG的進化版
Hi，這里是Aitrainee，歡迎閱讀本期新文章。我們以前介紹了HybridRAG、GraphRAG這些，今天我們將介紹一個嶄新的RAG項目：LightRAG。現有的RAG系統老是搞不清復雜關系，答案經常被切碎，缺乏上下文，難以真正理解問題。而LightRAG就是來解決這些問題的，它把圖結構引入文本索引和檢索，采用雙層檢索系統，從低到高全面覆蓋信息。更酷的是，它還能快速更新數據，保持實時高效的響應，而且它已經開源了哦！并且你現在可以通過簡單...LightRAG開源進化版LangChain 與 LlamaIndex：構建 LLM 應用程序的利器，如何強強聯手？
精華近年來，大型語言模型（LLM）的快速發展徹底改變了人工智能領域，為開發者構建功能強大的語言驅動應用程序打開了大門。然而，將LLM集成到實際應用程序中并非易事，需要克服數據索引、檢索和高效查詢等挑戰。LangChain和LlamaIndex作為兩個新興的開源框架，為開發者提供了構建LLM應用程序的強大工具。LangChain提供了高級API和現成的鏈，簡化了與LLM提供商的連接和查詢過程。LlamaIndex則專注于數據框架，通過向量存儲索引和檢索...LangChainLLM應用程序Adaptive-RAG：性能提升50%以上的高效RAG策略
圖片框架自適應RAG通過判斷問題的復雜性來自動選擇使用哪種RAG策略。作者將問題劃分為三類（如上圖的C部分）：?開放領域問答：這類任務通常涉及兩個模塊：一個檢索器和一個閱讀器。隨著具有千億參數的超強推理能力的LLMs的出現，LLMs和檢索器之間的協同作用已經取得了顯著進展。然而，盡管在單跳檢索增強LLMs方面取得了進展，但某些查詢的復雜性需要更復雜的策略。?多跳問答：多跳問答（MultihopQA）是傳統開放領域問答（Open...RAG策略QAPacking Analysis：LLM 樣本 Padding 與 Packing 的對比
一、背景我們之前已經分享過幾篇關于SamplePacking相關的文章，也提到了其中的性能優化問題。最近今天又看到一篇新的論文，這里進行簡單介紹。對應的論文為：[2410.08081]PackingAnalysis:PackingIsMoreAppropriateforLargeModelsorDatasetsinSupervisedFinetuning相關工作可以參考我們之前的文章：SamplePacking：長序列LLM訓練的Attention問題及優化SamplePacking綜述：LLM效果與效率的TradeoffBinaryBlockMasking：加快稀疏A...LLM樣本PackingAI界的"小而美"：Mistral AI的最新力作如何重新定義邊緣計算 | 多智能體協作讓大語言模型訓練效率暴增
大模型領域的發展日新月異，每天都有許多有趣的論文值得深入品讀。下面是本期覺得比較有意思的論文：1、AI界的"小而美"：MistralAI的最新力作如何重新定義邊緣計算2、多智能體協作讓大語言模型訓練效率暴增1、AI界的"小而美"：MistralAI的最新力作如何重新定義邊緣計算在人工智能飛速發展的今天，一個令人振奮的消息從MistralAI傳來。就在Mistral7B模型發布一周年之際，這家創新公司再次為我們帶來了驚喜：Ministral3B和Ministr...AI界邊緣計算語言模型打破視覺-語言預訓練的瓶頸：新算法解決噪聲和標注問題
精華引言：探索視覺語言對比預訓練中的噪聲和低質量標注問題在視覺語言對比預訓練中，噪聲和標注質量被認為是影響訓練效果的重要因素。本文通過深入研究和分析訓練過程中的兩個主要問題——錯誤的負樣本對分配和低質量及多樣性不足的標注——揭示了通過解決這些問題來提高訓練質量的潛力尚未被完全實現。首先，我們研究了影響對比學習的噪聲問題，即在一個批次中可能會發現語義相似甚至相同的圖像標注被錯誤地視為負樣本對。其次，...語言預訓練噪聲撤出OpenAI后，蘋果繼續潑冷水：大模型不會推理。科技界炸鍋：大模型只會檢索拼湊答案
原創編輯言征出品51CTO技術棧（微信號：blog51cto）前沿的AI獨角獸公司們正在花費所有精力使LLM更擅長推理。然而蘋果最近卻給他們潑了盆冷水。近期，蘋果公司的一個六人研究團隊最近發表了一篇題為《了解大型語言模型中數學推理的局限性》的論文，論文中各種基準測試，十分詳實。不過最后的結論基本上就是想證明：當前的LLM無法推理。圖片“當前的LLM無法執行真正的邏輯推理;他們從訓練數據中復制推理步驟，“該論文中寫道，其中還...OpenAI大模型AGI英偉達出手即王炸！重磅開源Nemotron大模型：擊敗GPT-4o、僅次于o1！
原創編譯伊風出品51CTO技術棧（微信號：blog51cto）英偉達悶聲干大事！什么炒作也沒有，直接開源媲美GPT4o、僅次于o1的模型！圖片英偉達（Nvidia）在周二悄然發布了一款新型人工智能模型，性能超越了行業領導者OpenAI和Anthropic的產品，這標志著公司人工智能戰略的重大轉變，并可能重新塑造該領域的競爭格局。這款名為Llama3.1Nemotron70BInstruct的模型悄無聲息地出現在熱門的人工智能平臺HuggingFace上，憑借其在多個基準測試中...OpenAI大模型檢索對連續概率分布的一個常見誤解
原創考慮下面這個連續概率分布的概率密度函數，它表示的是從A點到B點可能花費的時間。這是一個連續隨機變量t取值區間為[1,5]的均勻分布，其概率密度函數可以表示成下面形式。那么，問題來了！Q）他從A點到達B點花費3分鐘的概率P(T3)是多少？哇哦！上述答案都是錯的，正確答案是：0。有的人可能會立馬抗議，并表示為什么在擲色子中每個點的概率就是16呢？因為擲色子實驗結果是離散的，離散隨機變量的概率分布稱為概率質量函數（PMF）...連續概率機器學習大模型面經——MoE混合專家模型總結
原創?本篇將介紹MoE（MixtureofExperts，混合專家模型）相關面試題。以下是一個快捷目錄：一、MoE介紹二、MoE出現的背景三、有哪些MoE模型四、介紹稀疏MoE層五、介紹門控網絡或路由六、為什么門控網絡要引入噪聲呢七、如何均衡專家間的負載八、“專家”指什么九、專家的數量對預訓練有何影響？十、什么是topK門控十一、MoE模型的主要特點十二、MoE和稠密模型的對比十三、MoE的優勢十四、MoE的挑戰十五、微調MoE的方法十六、MoE的并...大模型MoE
