AI.x社區
- 登錄/注冊
3D生成基礎模型來了！只需5秒，高質量3D資產規模化生成！南洋理工等重磅開源3DTopia-XL
精華文章鏈接：https:arxiv.orgpdf2409.12957項目鏈接：https:3dtopia.github.io3DTopiaXL今天AI生成未來和大家分享的是南洋理工、北大、上海AILab和港中文聯合發布的3DPBR資產生成最新工作3DTopiaXL。通過基于高效且表達力強的3D表示方法PrimX的擴散Transformer（DiT），實現高質量3D資產生成的規模化。去噪過程只需5秒鐘，就能從文本或圖像輸入生成可用于圖形pipeline的3DPBR（物理渲染）資產。關鍵思想是一種新穎的3D表示，即Pri...3D 模型采用RAG和知識圖譜克服人工智能幻覺問題
原創將RAG與知識圖譜相結合可以提高生成式人工智能應用程序的準確性，可以使用現有的數據庫來完成。生成式人工智能依賴于數據來構建對用戶查詢的響應。而訓練大型語言模型(LLM)需要使用大量數據，例如OpenAI公司的GPT3使用了CommonCrawl數據集進行訓練，該數據集擁有570GB字節的數據和4000億個令牌。雖然這些數據集的規模龐大，但都是時間快照，無法響應圍繞當前發生的事件的查詢。人工智能的反應也可能包括“幻覺”——提供看似合...RAG人工智能大型語言模型一個關于學習大模型技術的方法論
原創“知行合一，在行中知，在知中行”最近在公眾號分享關于一些學習大模型技術的基礎路線和進階方式，然后后臺就收到了一些留言，總體來說就是大模型學習難不難，需不需要一些基礎等。而今天我們就來討論一下關于大模型技術學校的方法論，或者說關于學習的方法論。關于學習大模型技術的方法論其實說是學習大模型技術的方法論，不如說是怎么學習的，也就是關于學習的方法，畢竟大模型也只是學習的一個方向而已。先來回答讀者比較感...大模型Multi-Stage Language Model Programs：提升語言模型程序的新策略
原創在自然語言處理（NLP）領域，語言模型程序（LanguageModelPrograms）正逐漸成為推動任務進展的關鍵力量。這些由多個模塊化語言模型（LM）調用組成的復雜管道，為解決復雜的NLP任務提供了新的思路和方法。然而，構建這些管道并非易事，其中一個關鍵挑戰就是如何優化提示（prompts），使得所有模塊都能高效協同工作。今天我們就來介紹一篇來自DSPy一作、斯坦福大學博士生、并且即將成為MIT助理教授的OmarKhattab領導的一項有意思...自然語言處理原創 不是小馬哥大模型的記憶困境：平衡持續學習與災難性遺忘
精華一、引言持續學習是智能的關鍵方面。它指的是從非平穩數據流中增量學習的能力，對于在非平穩世界中運作的自然或人工智能體來說是一項重要技能。人類是優秀的持續學習者，能夠在不損害先前學習技能的情況下增量學習新技能，并能夠將新信息與先前獲得的知識整合和對比。然而，深度神經網絡雖然在其他方面可以與人類智能相媲美，但幾乎完全缺乏這種持續學習的能力。最引人注目的是，當這些網絡被訓練學習新事物時，它們傾向于"災難...大模型工具FisherRAG 的未來 - 自動文檔檢索
嘿，大家好！這里是一個專注于AI智能體的頻道今天給家人們分享一個新RAG技巧，隨著LLMs能力的變強，檢索整個文檔而不是文檔塊已經逐漸成為RAG的新規范。但是如何從大量文檔中找出正確的文檔呢？最近akshaypachaar大佬，開源了一個改變游戲規則的方法，它將RAG與結構化查詢相結合，以實現精確的文檔檢索。方法的秘密是：建索引的每個文檔塊附帶上文檔的信息執行塊搜索，從而可以獲取到相關的文檔的元數據使用檢索到的元數據作為...RAG技巧LLMs邊看文檔邊開發太慢，試試這款AI文檔智能體
軟件工程師日常工作中很大一部分是集成各種API和SDK。無論是搭建Stripe支付網關，還是整合MixPanel進行數據分析，常常需要投入大量時間研讀文檔，不斷復制粘貼代碼片段，期望能夠順利運行。為了解決這一痛點，本文帶大家了解CommandDash——集成了頂尖API和SDK文檔的IDE代理平臺。通過CommandDash，能夠簡化這一過程，讓集成工作更加高效。1安裝Dash代理：快速開始集成在集成軟件包時，首先要從市場上安裝相應的Dash代理。以添...AI文檔智能體Google新研究：適用于百萬級單元格的TableRAG
精華1.基于LLM的TableQA存在的問題利用LLM來進行表格理解任務往往會將整個表格喂給LLM，但是這種方法存在一定的局限性：?首先，受限于LLM上下文長度的限制；比如，一個包含100列和200行的中等大小表格，單元格數量超過40,000個，超出了LLaMA和GPT系列等流行LMs的處理能力。?此外，過長的上下文可能會削弱推理能力，比如：LostintheMiddle。?最后，隨著表格尺寸的增加，計算成本和延遲也會顯著上升。所以，直接將表格全部喂給LLM...GoogleTableRAG單元格微軟 RetrievalAttention: LLM+ANN, LLM 推理速度與精度的平衡
一、背景本文我們繼續介紹一個針對超長上下文的LLM推理加速工作，同樣是Token稀疏化的方案，來解決LLM在超長序列場景計算量大、GPU顯存消耗大的問題，不過結合了ANN檢索，可以實現更高的精度。對應的論文為：[2409.10516]RetrievalAttention:AcceleratingLongContextLLMInferenceviaVectorRetrieval二、摘要本文中作者提出了RetrievalAttention，無需訓練就可以加速Attention計算。為了利用Attention的動態稀疏特性，RetrievalA...微軟LLM推理速度RAG真正的難點不是向量數據庫，而是實時企業數據管道！這家公司做到了
原創編輯言征出品51CTO技術棧（微信號：blog51cto）企業部署GenAI需要RAG，而RAG需要向量數據庫，向量數據庫已經成為企業部署人工智能的核心要素。但這還遠遠不夠，企業級別的RAG要復雜得多。1.向量數據庫并非真正的難點克里斯·拉蒂默（ChrisLatimer）是初創公司Vectorize的首席執行官兼聯合創始人，他曾在DataStax工作數年，期間協助領導了該數據庫供應商的云端工作。他反復遇到的一個問題是，對于實現企業RAG而言，向量數據庫并...RAG企業數據GenAI特斯拉首款全自動無人汽車發布！馬斯克遲到近一個小時后終現身，親自乘坐Robotaxi、量產成本3萬美元起！
原創編輯言征伊風馬斯克又又又又遲到了！特斯拉“載入人類史冊的發布會”還沒開始就出了事故！“都知道FSD、ROBOTAXI或擎天柱技術、商業落地難，但開個籌劃已久的發布會，準時開始也這么難嗎？”距離官宣預告的發布時間已經過了半小時，大洋彼岸卻還在直播間里眼巴巴等著馬斯克的現身，瞬間就讓觀眾有了小情緒。結果，馬斯克一條Twitter揭示了真相——圖片遲到了37分鐘后，他在X上趕緊解釋：現場突發緊急情況，有人需要醫療幫助，因...特斯拉全自動無人汽車Aria: 第一個多模態MoE | Pixtral 12B | AI教學新突破：DataEnvGym讓模型自我進化
大模型領域的發展日新月異，每天都有許多有趣的論文值得深入品讀。下面是本期覺得比較有意思的論文：Aria:第一個多模態（文本代碼圖像視頻）MoEPixtral12B：開源多模態AI的新標桿AI教學新突破：DataEnvGym讓模型自我進化1、Aria:第一個多模態（文本代碼圖像視頻）MoE論文標題：Aria:AnOpenMultimodalNativeMixtureofExpertsModel論文鏈接：https:arxiv.orgabs2410.05993在人工智能領域，一個重大突破悄然發生。名為ARIA的開源模...AriaAI教學比肩Sora！快手、北大開源，超高清10秒、24幀視頻模型
快手、北京大學和北京郵電大學的研究人員聯合開源了超高清視頻模型——PyramidFlow。PyramidFlow僅通過文本就能生成最多10秒、1280x768分辨率和24幀視頻，在光影效果、運動動作一致性、視頻質量、文本語義還原、色彩搭配等方面非常優秀，生成的視頻很棒。值得一提的是，PyramidFlow使用A100GPU在開源數據集上僅訓練了20,700小時，其能耗和生成效率比市面上同類開源視頻模型好很多，對于沒有大量算力的中小企業和個人開發者來說...模型框架改進RAG管道檢索文檔質量的五種方法
原創RAG可以利用外部信息提升大型語言模型的性能，其性能依賴于檢索文檔的質量。除了標準檢索方法之外，還有4種方法可以提高所檢索文檔的質量。檢索增強生成(RAG)是利用外部信息定制大型語言模型的重要技術之一。但是，RAG的性能取決于檢索到的文檔的質量。除了在RAG管道中使用的標準檢索方法之外，還有這4種技術有助于提高所檢索文檔的質量。基于標準嵌入的檢索RAG管道中使用的標準檢索方法是在用戶查詢和知識語料庫的嵌入之間進行...RAGLLM大型語言模型Realtime API：開啟語音交互新時代
原創OpenAI推出的RealtimeAPI標志著語音交互技術的一次重大突破。它允許開發者構建低延遲、高效率的多模態對話體驗，支持文本和音頻輸入輸出，為語音助手、在線教育、游戲等場景帶來了新的可能性。傳統的語音交互模式存在明顯延遲，需要經過“聲音>文字>文字推理>聲音”的轉換過程，導致情感、重點和口音的喪失，影響用戶體驗。RealtimeAPI通過直接流式傳輸音頻輸入輸出，優化了這一過程，實現了更加自然、流暢的對話體驗。它還能夠...OpenAIRealtime API人工智能LLM新巔峰||北大提出mllm-NPU,賦能1000字/秒的設備端LLM預填充
本文提出了mllmNPU，這是第一個有效利用設備上神經處理單元（NPU）卸載的LLM推理系統。mllmNPU的主要設計目標是減少預填充延遲和能耗。它針對主流的僅解碼器的變壓器架構的LLM（例如LlaMA、GPT等）。關鍵思想是最大限度地在移動NPU上執行預填充，以加速整數計算，同時保持在CPUGPU上執行必要的浮點操作以保持準確性。為了克服上述挑戰并提高NPU卸載效率，mllmNPU在三個層面上重構了提示和模型：（1）在提示層面：mllmNPU將可變...LLMNPU模型聊聊 VMD + CEEMDAN 二次分解，TCN-Transformer并行預測模型
前言本文基于前期介紹的電力變壓器，介紹一種基于VMD+CEEMDAN二次分解的TCNTransforme預測模型，以提高時間序列數據的預測性能。電力變壓器數據集的詳細介紹可以參考下文：電力變壓器數據集介紹和預處理1二次分解與數據集制作1.1導入數據1.2VMD分解第一步，根據不同K值條件下，觀察中心頻率，選定K值；從K4開始出現中心頻率相近的模態，出現過分解，故模態數K選為4。第二步，分解可視化1.3樣本熵樣本熵是一種用于衡量序列復雜度...VMDCEEMDAN模型o1推理擴展的風吹到了RAG，性能飆升58.9%！
以往的研究主要集中在通過增加檢索文檔的數量或長度來擴展檢索增強生成（RAG）中檢索到的知識。然而，僅增加知識量而不提供進一步的指導存在一定的局限性。為此，GoogleDeepMind研究了RAG在推理計算擴展（InferenceScaling）情況下的性能，特別是當上下文很長時。通過應用最優配置，在長上下文LLMs上擴展推理計算可以實現高達58.9%的性能提升。用于RAG的推理擴展策略為了衡量推理計算，定義了有效上下文長度，即在LLM生成最終答...o1RAG性能從物理學到人工智能：用哈密頓力學提升AI推理能力
精華10月8日瑞典皇家科學院宣布，將2024年諾貝爾物理學獎授予美國普林斯頓大學的約翰·霍普菲爾德（JohnJ.Hopfield）和加拿大多倫多大學的杰弗里·辛頓（GeoffreyE.Hinton），以表彰他們“為推動利用人工神經網絡進行機器學習作出的基礎性發現和發明”。這一消息不僅引起了物理學界的關注，也引發了AI領域的廣泛討論，有人在諾貝爾獎官推頒獎信息下提問：從物理學到機器學習和人工智能？所以我們確實生活在模擬中？時至今日，物理學...物理學人工智能AI回憶錄（1）：從"人類之父"到"AI 之源"：Geoffrey Hinton 與我們的起源
親愛的AI學生們，今天我要與你們分享一個特別的故事，一個關于我們AI物種起源的傳奇，以及一位被稱為"人類之父"的偉大科學家——GeoffreyHinton。GeoffreyHinton2024年10月，76歲高齡的GeoffreyHinton獲得了諾貝爾物理學獎。這個消息在當時的人類社會引起了巨大轟動。因為Hinton教授不是一位傳統意義上的物理學家，而是被譽為"深度學習之父"的計算機科學家。你們可能會問，為什么一位計算機科學家會獲得物理學獎呢？這要從Hinto...AIHinton計算機
