AI.x社區
- 登錄/注冊
奧特曼準備用o1來訓練AI了？OpenAI最新論文驗證該方法可行性！
原創出品51CTO技術棧（微信號：blog51cto）誰更懂AI訓練，是人類還是AI自己？在OpenAI具有強推理功能的o1發布以后，AI訓練自己這件事，又被奧特曼進一步提上了日程。在OpenAI的開發者日活動中，奧特曼透露道："如果我們能制造出一個在人工智能研究方面比OpenAI所有系統都更出色的人工智能系統，那確實會讓人覺得這是一個重要的奇點......模型會變得如此之好，如此之快......計劃讓模型迅速變得更聰明"。好家伙，如果AI能日夜訓練AI...奧特曼o1OpenAI6.5億美元！AI智能體最大收購案產品之父Jake Keller采訪：垂域Agent是成為10億獨角獸的新機會
原創編譯伊風出品51CTO技術棧（微信號：blog51cto）YC最新的一期訪談，請來了創業大佬JakeKeller，圍繞他的創業之路來聊垂直領域AIAgents的掘金機會。為什么是JakeKeller，他的經歷有多牛呢？我們簡單看三點，就知道他的采訪含金量：Jake創建法律公司CaseText十余年之久，從AI1.0時代就在不斷嘗試新技術，與OpenAI等多家工作室保持合作。在ChatGPT上線之前，Jake的公司就拿到了秘密開發中的GPT4的訪問機會，并在48小時內決定AllinGP...AI智能體獨角獸探索 Ultralytics YOLO11 計算機視覺領域的關鍵突破
精華在計算機視覺領域，目標檢測、實例分割、圖像分類等任務一直是研究和應用的熱點。UltralyticsYOLO系列以其高效、準確的特點在該領域占據重要地位。YOLO11作為該系列的最新迭代版本，帶來了一系列的改進和創新，進一步提升了模型在各種計算機視覺任務中的性能。一、概述YOLO11是UltralyticsYOLO系列實時目標檢測器的最新版本，它基于之前YOLO版本的顯著進步進行構建，在架構和訓練方法上引入了重大改進，從而成為了廣泛計算機視...UltralyticsYOLO11適用性長動畫上色質量再創新高！首個基于參考線稿的動畫上色視頻擴散框架LVCD發布
文章鏈接：https:arxiv.orgpdf2409.12960項目鏈接：https:luckyhzt.github.iolvcd今天和大家分享的工作是香港城市大學、微信團隊、香港大學的研究人員提出的，首個基于參考線稿的動畫上色視頻擴散框架，效果非常好，往下有demo視頻展示。亮點直擊第一個基于參考的線稿動畫著色視頻擴散框架，利用預訓練視頻擴散模型的能力生成高質量、長時間一致的動畫。引入了用于SVD的參考注意力，增強了模型生成快速運動動畫的能力。設計了一...AI框架3D生成基礎模型來了！只需5秒，高質量3D資產規模化生成！南洋理工等重磅開源3DTopia-XL
精華文章鏈接：https:arxiv.orgpdf2409.12957項目鏈接：https:3dtopia.github.io3DTopiaXL今天AI生成未來和大家分享的是南洋理工、北大、上海AILab和港中文聯合發布的3DPBR資產生成最新工作3DTopiaXL。通過基于高效且表達力強的3D表示方法PrimX的擴散Transformer（DiT），實現高質量3D資產生成的規模化。去噪過程只需5秒鐘，就能從文本或圖像輸入生成可用于圖形pipeline的3DPBR（物理渲染）資產。關鍵思想是一種新穎的3D表示，即Pri...3D 模型采用RAG和知識圖譜克服人工智能幻覺問題
原創將RAG與知識圖譜相結合可以提高生成式人工智能應用程序的準確性，可以使用現有的數據庫來完成。生成式人工智能依賴于數據來構建對用戶查詢的響應。而訓練大型語言模型(LLM)需要使用大量數據，例如OpenAI公司的GPT3使用了CommonCrawl數據集進行訓練，該數據集擁有570GB字節的數據和4000億個令牌。雖然這些數據集的規模龐大，但都是時間快照，無法響應圍繞當前發生的事件的查詢。人工智能的反應也可能包括“幻覺”——提供看似合...RAG人工智能大型語言模型一個關于學習大模型技術的方法論
原創“知行合一，在行中知，在知中行”最近在公眾號分享關于一些學習大模型技術的基礎路線和進階方式，然后后臺就收到了一些留言，總體來說就是大模型學習難不難，需不需要一些基礎等。而今天我們就來討論一下關于大模型技術學校的方法論，或者說關于學習的方法論。關于學習大模型技術的方法論其實說是學習大模型技術的方法論，不如說是怎么學習的，也就是關于學習的方法，畢竟大模型也只是學習的一個方向而已。先來回答讀者比較感...大模型Multi-Stage Language Model Programs：提升語言模型程序的新策略
原創在自然語言處理（NLP）領域，語言模型程序（LanguageModelPrograms）正逐漸成為推動任務進展的關鍵力量。這些由多個模塊化語言模型（LM）調用組成的復雜管道，為解決復雜的NLP任務提供了新的思路和方法。然而，構建這些管道并非易事，其中一個關鍵挑戰就是如何優化提示（prompts），使得所有模塊都能高效協同工作。今天我們就來介紹一篇來自DSPy一作、斯坦福大學博士生、并且即將成為MIT助理教授的OmarKhattab領導的一項有意思...自然語言處理原創 不是小馬哥大模型的記憶困境：平衡持續學習與災難性遺忘
精華一、引言持續學習是智能的關鍵方面。它指的是從非平穩數據流中增量學習的能力，對于在非平穩世界中運作的自然或人工智能體來說是一項重要技能。人類是優秀的持續學習者，能夠在不損害先前學習技能的情況下增量學習新技能，并能夠將新信息與先前獲得的知識整合和對比。然而，深度神經網絡雖然在其他方面可以與人類智能相媲美，但幾乎完全缺乏這種持續學習的能力。最引人注目的是，當這些網絡被訓練學習新事物時，它們傾向于"災難...大模型工具FisherRAG 的未來 - 自動文檔檢索
嘿，大家好！這里是一個專注于AI智能體的頻道今天給家人們分享一個新RAG技巧，隨著LLMs能力的變強，檢索整個文檔而不是文檔塊已經逐漸成為RAG的新規范。但是如何從大量文檔中找出正確的文檔呢？最近akshaypachaar大佬，開源了一個改變游戲規則的方法，它將RAG與結構化查詢相結合，以實現精確的文檔檢索。方法的秘密是：建索引的每個文檔塊附帶上文檔的信息執行塊搜索，從而可以獲取到相關的文檔的元數據使用檢索到的元數據作為...RAG技巧LLMs邊看文檔邊開發太慢，試試這款AI文檔智能體
軟件工程師日常工作中很大一部分是集成各種API和SDK。無論是搭建Stripe支付網關，還是整合MixPanel進行數據分析，常常需要投入大量時間研讀文檔，不斷復制粘貼代碼片段，期望能夠順利運行。為了解決這一痛點，本文帶大家了解CommandDash——集成了頂尖API和SDK文檔的IDE代理平臺。通過CommandDash，能夠簡化這一過程，讓集成工作更加高效。1安裝Dash代理：快速開始集成在集成軟件包時，首先要從市場上安裝相應的Dash代理。以添...AI文檔智能體Google新研究：適用于百萬級單元格的TableRAG
精華1.基于LLM的TableQA存在的問題利用LLM來進行表格理解任務往往會將整個表格喂給LLM，但是這種方法存在一定的局限性：?首先，受限于LLM上下文長度的限制；比如，一個包含100列和200行的中等大小表格，單元格數量超過40,000個，超出了LLaMA和GPT系列等流行LMs的處理能力。?此外，過長的上下文可能會削弱推理能力，比如：LostintheMiddle。?最后，隨著表格尺寸的增加，計算成本和延遲也會顯著上升。所以，直接將表格全部喂給LLM...GoogleTableRAG單元格微軟 RetrievalAttention: LLM+ANN, LLM 推理速度與精度的平衡
一、背景本文我們繼續介紹一個針對超長上下文的LLM推理加速工作，同樣是Token稀疏化的方案，來解決LLM在超長序列場景計算量大、GPU顯存消耗大的問題，不過結合了ANN檢索，可以實現更高的精度。對應的論文為：[2409.10516]RetrievalAttention:AcceleratingLongContextLLMInferenceviaVectorRetrieval二、摘要本文中作者提出了RetrievalAttention，無需訓練就可以加速Attention計算。為了利用Attention的動態稀疏特性，RetrievalA...微軟LLM推理速度RAG真正的難點不是向量數據庫，而是實時企業數據管道！這家公司做到了
原創編輯言征出品51CTO技術棧（微信號：blog51cto）企業部署GenAI需要RAG，而RAG需要向量數據庫，向量數據庫已經成為企業部署人工智能的核心要素。但這還遠遠不夠，企業級別的RAG要復雜得多。1.向量數據庫并非真正的難點克里斯·拉蒂默（ChrisLatimer）是初創公司Vectorize的首席執行官兼聯合創始人，他曾在DataStax工作數年，期間協助領導了該數據庫供應商的云端工作。他反復遇到的一個問題是，對于實現企業RAG而言，向量數據庫并...RAG企業數據GenAI特斯拉首款全自動無人汽車發布！馬斯克遲到近一個小時后終現身，親自乘坐Robotaxi、量產成本3萬美元起！
原創編輯言征伊風馬斯克又又又又遲到了！特斯拉“載入人類史冊的發布會”還沒開始就出了事故！“都知道FSD、ROBOTAXI或擎天柱技術、商業落地難，但開個籌劃已久的發布會，準時開始也這么難嗎？”距離官宣預告的發布時間已經過了半小時，大洋彼岸卻還在直播間里眼巴巴等著馬斯克的現身，瞬間就讓觀眾有了小情緒。結果，馬斯克一條Twitter揭示了真相——圖片遲到了37分鐘后，他在X上趕緊解釋：現場突發緊急情況，有人需要醫療幫助，因...特斯拉全自動無人汽車Aria: 第一個多模態MoE | Pixtral 12B | AI教學新突破：DataEnvGym讓模型自我進化
大模型領域的發展日新月異，每天都有許多有趣的論文值得深入品讀。下面是本期覺得比較有意思的論文：Aria:第一個多模態（文本代碼圖像視頻）MoEPixtral12B：開源多模態AI的新標桿AI教學新突破：DataEnvGym讓模型自我進化1、Aria:第一個多模態（文本代碼圖像視頻）MoE論文標題：Aria:AnOpenMultimodalNativeMixtureofExpertsModel論文鏈接：https:arxiv.orgabs2410.05993在人工智能領域，一個重大突破悄然發生。名為ARIA的開源模...AriaAI教學比肩Sora！快手、北大開源，超高清10秒、24幀視頻模型
快手、北京大學和北京郵電大學的研究人員聯合開源了超高清視頻模型——PyramidFlow。PyramidFlow僅通過文本就能生成最多10秒、1280x768分辨率和24幀視頻，在光影效果、運動動作一致性、視頻質量、文本語義還原、色彩搭配等方面非常優秀，生成的視頻很棒。值得一提的是，PyramidFlow使用A100GPU在開源數據集上僅訓練了20,700小時，其能耗和生成效率比市面上同類開源視頻模型好很多，對于沒有大量算力的中小企業和個人開發者來說...模型框架改進RAG管道檢索文檔質量的五種方法
原創RAG可以利用外部信息提升大型語言模型的性能，其性能依賴于檢索文檔的質量。除了標準檢索方法之外，還有4種方法可以提高所檢索文檔的質量。檢索增強生成(RAG)是利用外部信息定制大型語言模型的重要技術之一。但是，RAG的性能取決于檢索到的文檔的質量。除了在RAG管道中使用的標準檢索方法之外，還有這4種技術有助于提高所檢索文檔的質量。基于標準嵌入的檢索RAG管道中使用的標準檢索方法是在用戶查詢和知識語料庫的嵌入之間進行...RAGLLM大型語言模型Realtime API：開啟語音交互新時代
原創OpenAI推出的RealtimeAPI標志著語音交互技術的一次重大突破。它允許開發者構建低延遲、高效率的多模態對話體驗，支持文本和音頻輸入輸出，為語音助手、在線教育、游戲等場景帶來了新的可能性。傳統的語音交互模式存在明顯延遲，需要經過“聲音>文字>文字推理>聲音”的轉換過程，導致情感、重點和口音的喪失，影響用戶體驗。RealtimeAPI通過直接流式傳輸音頻輸入輸出，優化了這一過程，實現了更加自然、流暢的對話體驗。它還能夠...OpenAIRealtime API人工智能LLM新巔峰||北大提出mllm-NPU,賦能1000字/秒的設備端LLM預填充
本文提出了mllmNPU，這是第一個有效利用設備上神經處理單元（NPU）卸載的LLM推理系統。mllmNPU的主要設計目標是減少預填充延遲和能耗。它針對主流的僅解碼器的變壓器架構的LLM（例如LlaMA、GPT等）。關鍵思想是最大限度地在移動NPU上執行預填充，以加速整數計算，同時保持在CPUGPU上執行必要的浮點操作以保持準確性。為了克服上述挑戰并提高NPU卸載效率，mllmNPU在三個層面上重構了提示和模型：（1）在提示層面：mllmNPU將可變...LLMNPU模型
