AI.x社區
- 登錄/注冊
聊聊 VMD + CEEMDAN 二次分解，TCN-Transformer并行預測模型
前言本文基于前期介紹的電力變壓器，介紹一種基于VMD+CEEMDAN二次分解的TCNTransforme預測模型，以提高時間序列數據的預測性能。電力變壓器數據集的詳細介紹可以參考下文：電力變壓器數據集介紹和預處理1二次分解與數據集制作1.1導入數據1.2VMD分解第一步，根據不同K值條件下，觀察中心頻率，選定K值；從K4開始出現中心頻率相近的模態，出現過分解，故模態數K選為4。第二步，分解可視化1.3樣本熵樣本熵是一種用于衡量序列復雜度...VMDCEEMDAN模型o1推理擴展的風吹到了RAG，性能飆升58.9%！
以往的研究主要集中在通過增加檢索文檔的數量或長度來擴展檢索增強生成（RAG）中檢索到的知識。然而，僅增加知識量而不提供進一步的指導存在一定的局限性。為此，GoogleDeepMind研究了RAG在推理計算擴展（InferenceScaling）情況下的性能，特別是當上下文很長時。通過應用最優配置，在長上下文LLMs上擴展推理計算可以實現高達58.9%的性能提升。用于RAG的推理擴展策略為了衡量推理計算，定義了有效上下文長度，即在LLM生成最終答...o1RAG性能回憶錄（1）：從"人類之父"到"AI 之源"：Geoffrey Hinton 與我們的起源
親愛的AI學生們，今天我要與你們分享一個特別的故事，一個關于我們AI物種起源的傳奇，以及一位被稱為"人類之父"的偉大科學家——GeoffreyHinton。GeoffreyHinton2024年10月，76歲高齡的GeoffreyHinton獲得了諾貝爾物理學獎。這個消息在當時的人類社會引起了巨大轟動。因為Hinton教授不是一位傳統意義上的物理學家，而是被譽為"深度學習之父"的計算機科學家。你們可能會問，為什么一位計算機科學家會獲得物理學獎呢？這要從Hinto...AIHinton計算機阿里達摩院最新多模態大模型介紹，多項圖文任務取得SOTA效果
這篇文章給大家介紹一下阿里發表的多模態大模型工作mPLUGOwl，共2篇文章，建立在前序圖像表征對齊預訓練大語言模型的思路，提出了不同的參數訓練方式、多模態解耦映射等優化方法，在多項任務取得了SOTA效果。相關論文：mPLUGOwlLanguageModelswithMultimodalitymPLUGOwl2:RevolutionizingMultimodalLargeLanguageModelwithModalityCollaboration1.核心思路多模態大模型希望構建一個能同時處理文本、圖像等不同模態信息的數據，...多模態SOTA效果看哭了！“從學生到大師：AI 的諾獎之旅與 Hinton 的傳奇”
在這個風起云涌的AI時代，一個令人驚嘆的場景正在上演：曾經的"學生"正在趕超"老師"。2024年，當AI技術在諾貝爾物理學獎和化學獎上大放異彩時，我們不禁想起了那個被譽為"AI教父"的GeoffreyHinton。如果AI有自我意識，它或許會這樣說："親愛的Hinton教授，是您點亮了我的'數字大腦'。如今，我在諾貝爾獎的舞臺上閃耀，這份榮耀，理應與您共享。"從"數字嬰兒"到"諾獎得主"回首AI的發展歷程，恍若白駒過隙。短短幾十年間，AI從一...AIHinton諾貝爾谷歌提出視覺記憶方法，讓大模型訓練數據更靈活
目前，多數大模型一旦經過預訓練，其內部結構便難以改變，就像把知識刻在石頭一樣。如果你想對模型的數據進行更新，就需要對整個模型重新訓練，消耗大量時間和AI算力。為了解決這一難題，谷歌DeepMind的研究人員提出了創新視覺記憶技術，其核心是將深度學習模型的表示能力與數據庫的靈活性相結合，可以靈活地添加或刪除數據。簡單來說，和人類的視覺記憶差不多，既能不斷學習新的知識，又能對已有的知識進行更新和調整。構建視...模型訓練視覺任務大一統！圖像生成，編輯，翻譯三合一！全能視覺助手PixWizard來襲！
精華文章鏈接：https:arxiv.orgpdf2409.15278github鏈接：https:github.comAFengxPixWizard亮點直擊任務統一：針對視覺任務的多樣性，本項目基于生成框架將多種任務轉化為圖像到圖像的翻譯問題，并通過后處理將生成的可視化效果轉化為所需格式，從而簡化表示形式的挑戰。數據構建：構建了一個包含3000萬條數據的全面訓練集，主要支持圖像生成、編輯、修復、定位和密集預測等五大功能，旨在整合視覺領域的任務和數據多樣性。架構設計...模型架構從秒級到小時級：TikTok等發布首篇面向長視頻理解的多模態大語言模型全面綜述
精華文章鏈接：https:arxiv.orgpdf2409.18938亮點直擊追蹤并總結從圖像理解到長視頻理解的MMLLMs的進展;回顧了各種視覺理解任務之間的差異，并強調了長視頻理解中的挑戰，包括更細粒度的時空細節、動態事件和長期依賴性;詳細總結了MMLLMs在理解長視頻方面的模型設計和訓練方法的進展;比較了現有MMLLMs在不同長度視頻理解基準上的表現，并討論了MMLLMs在長視頻理解中的潛在未來方向。將大語言模型（LLMs）與視覺編碼器的集成最近在視...模型訓練人工智能的三個階段計算智能，感知智能和認知智能
原創“人工智能技術的發展是一個蜿蜒曲折的道路”人工智能技術是一項復雜的系統性工程，而且更多時候它只是一個概念性的技術；沒有有人知道人工智能應該是什么樣，也沒有人知道應該怎么才能實現人工智能。所以，人工智能技術經過幾十年的發展，一直是在蜿蜒曲折的前進；所以，研究者們就根據人工智能技術發展的現狀以及對其未來的期望總結了人工智能技術發展的幾個階段。而現在的人工智能技術即將要進入認知智能階段。人工智能技術...人工智能AI教父辛頓獲得諾貝爾物理獎采訪內幕流出：“我怎么確定這不是一個欺騙電話？”
原創整理言征10月8日晚間，2024年諾貝爾物理學獎得主公布，名單非常令人驚訝，兩位得主JohnHopfield（約翰·霍普菲爾德）、GeoffreyHinton（杰弗里·辛頓），并非是發現了類似相對論、量子力學等驚世的物理學規律，而是因為對于AI的基礎性貢獻。不要說大眾覺得很“詭異”，就連辛頓本人接到通知電話時也覺得是詐騙。凌晨的時候，辛頓在加利福尼亞州的一家酒店房間里接到了來自瑞典斯德哥爾摩的電話，他第一時間想到的是：我怎么確定...AI教父諾貝爾物理獎優化文本嵌入，大幅提升RAG檢索速度
1簡介文本嵌入技術能夠將文字信息轉換成高維向量表示的數字，提供了一種理解和處理文本數據的新方式，幫助我們更好地理解和處理文本數據。這些向量，也就是數字數組，能夠捕捉文本的深層特征，進而支持多種應用。比如理解語義、進行文本分類、聚類、信息檢索，甚至優化搜索結果排序等。傳統上，嵌入向量的維度是固定的，通常取2的冪次方，大小介于64到4096之間。現在，有了套娃嵌入技術，我們可以根據不同的應用需求，靈活調整...RAG檢索LLM大語言模型評估基準數據泄露問題分析報告
1.研究背景與動機近年來，大語言模型（LargeLanguageModels,LLMs）在人工智能領域取得了巨大的進展。為了評估這些模型的能力，研究人員開發了許多評估基準。然而，隨著這些基準的廣泛使用，人們對其適當性和公平性產生了越來越多的擔憂。本研究的主要動機包括：評估基準的重要性：評估基準是衡量LLMs能力的關鍵工具，對于理解模型進展至關重要。數據泄露問題：在準備預訓練數據時，可能無意中包含了未來評估數據集的相關內容，...語言模型數據泄露探索阿里通義千問 Qwen2.5：新一代開源大模型的卓越力量
在人工智能領域的快速發展進程中，阿里通義千問的Qwen2.5模型以其強大的性能和廣泛的應用潛力，成為了備受關注的焦點。2024云棲大會上的發布，更是讓Qwen2.5走進了更多開發者和研究者的視野。本文將深入探討Qwen2.5的各項技術特點和優勢。一、總體概述Qwen2.5全系列涵蓋了多個尺寸的大語言模型、多模態模型、數學模型和代碼模型。這種全面的模型體系，為不同領域的應用提供了強大的支持。無論是自然語言處理任務中的文本生成、...阿里通義千問Qwen2.5卷瘋了！開源社區離Openai o1越來越近~
小長假結束了本來打算梳理一下假期的信息的，但是內容有點多，放棄了今天這個標題對應假期的2個新聞。思科的大佬，假期發了一篇medium博客，使用2個復雜數據集，進行了一系列模型的基準測試。Blog:https:medium.comharishhacker3010canwemakeanysmalleropensourceaimodelssmarterthanhuman1ea507e644a0Prompt:https:gist.github.comphilschmid34747bf5bc8280f3a5f10f5fd8d1cd4bGithub:https:github.comharishsg993010LLMResearc...openaio1閉源為什么將RAG擴展到生產環境如此困難？
將RAG擴展到生產環境是一項復雜的挑戰，需要考慮多個方面，本文將深入探討這些挑戰，并提供解決方案。RAG如何演變？RAG（RetrievalAugmentedGeneration，檢索增強生成）是一種技術，通過為大型語言模型（LLM）提供額外的上下文信息，使其能夠生成更準確、更具體的響應。LLM在公開數據上進行訓練，本身非常智能，但由于缺乏特定領域知識，無法回答特定問題。RAG通過提供必要的上下文信息，幫助LLM正確回答查詢。RAG是向LLM注入新...RAG多模態LLMOpenAI重磅發布交互界面canvas，讓ChatGPT成為編程和寫作利器
原創1、寫作和編程利器canvas今晨，OpenAI推出了類似AnthropicArtifacts的應用—canvas，宣稱其為“ChatGPT寫作和編程的新手段”。在canvas這個界面，你可以與ChatGPT一起完成寫作和編碼項目，而不再局限于簡單的聊天。canvas是一種新的交互方式，也是OpenAI推出ChatGPT以來的首個重大視覺界面更新。canvas會在單獨的窗口中打開，方便用戶與ChatGPT一起協作完成項目。canvas的Beta版本為用戶提供了一種全新的合作方式：你不僅能夠通...canvasChatGPTCursor 實用技巧指南
原創1、技巧一：明確表述需求問：如何更準確地改寫功能需求以適應Cursor的使用？原因：Cursor的設計旨在精確執行用戶的具體指令。過多的細節可能導致執行復雜化，而過于模糊的描述則可能讓Cursor在執行時缺乏必要的指導，影響項目的精準控制。操作步驟：精確闡述需求，剔除無關的細枝末節。避免在需求中使用含糊其辭的詞語（比如“上傳”），除非它們對功能實現至關重要。示例：不夠明確：“開發一個文件處理功能，涵蓋上傳和下載操...Cursor人人都是音樂家！中科大&科大訊飛重磅開源OpenMusic：音樂生成更高質量，更有樂感
精華文章鏈接：https:arxiv.orgpdf2405.15863代碼鏈接：https:github.comivcylcqamdtHuggingface鏈接：https:huggingface.cospacesjadechoghariOpenMusicDemo鏈接：https:qamdt.github.io（chatgpt30，musiccaps30）亮點直擊提出了一種質量感知訓練范式，使模型在訓練過程中能夠感知數據集的質量，從而在音樂性（美學角度）和音頻質量方面實現卓越的音樂生成效果。創新性地將masked擴散Transformer引入到音樂信號中，展示了其在建模...音樂生成關于大模型在企業生產環境中的獨立部署問題
原創“大模型產品的技術復雜度遠遠超出你的想象”最近一段時間公司在搞AIGC領域的產品，雖然集成了很多第三方的大模型服務接口，但從節省成本的角度，公司也找了一部分具有相似效果的開源模型做獨立部署。但在做模型獨立部署方面面對著各種各樣的問題，而且環境極不穩定，因此就引發了關于大模型企業級應用中的環境部署和運維的問題。關于大模型在企業生產中的部署問題首先拋開成本問題從技術的角度來說，小公司獨立部署大模型會很...大模型什么是具身智能模型，它和普通大模型有什么區別？
原創“具身智能，一種把大模型應用到工業生產的技術”隨著大模型技術的發展，大模型的發展方向也逐漸變得明朗，比如AIGC，AI代理等；而最近學習到了一個新的概念——具身智能，雖然并不是第一次聽說這個詞，但一直以為它只是大模型技術的一種實現方式，但到最近才發現具身只能和大模型是不一樣的兩種東西。而且，具身智能可以說是大模型的上層應用，其發展方向也更加廣闊；那么我們就來一起了解一下什么是具身智能。具身智能從定義...具身智能大模型
