AI.x社區
- 登錄/注冊
?探索Sora背后秘密：結合OpenAI Sora技術報告來看其能力和技術點
精華最近被Sora刷屏，今天結合OpenAISora的技術報告Videogenerationmodelsasworldsimulators來看下Sora具備哪些能力，以及這些能力是怎么來的。功能上除了文生圖，還支持以圖片、視頻作為prompt，極大拓展使用場景。技術上，利用spacetimepatches，統一了時空分割語言，為后續模型訓練以及使用場景的拓展打下基礎。數據側在準備高質量的caption數據做了專門的優化。另外模型基礎架構采用DiffusionTransformer，通過Scalling，顯著提...SoraOpenAI3D我們一起聊聊基于 VMD滾動分解+Transformer-GRU并行的鋰電池剩余壽命預測模型
前言實驗采用美國馬里蘭大學先進壽命周期工程研究中心(CALCE)的鋰電池充放電循環壽命實驗數據。馬里蘭大學實驗組將實驗數據按時間分類存放在一系列excel文件中，CS2電池設置的工作溫度為恒定溫度(20～25℃)。CS2電池實驗過程可分為充電階段和放電階段。此次研究從中采取1.1A的CS2型號電池的4組數據，分別為：CS35、CS36、CS37和CS38，電池數據文件中電池參數較多，如時間節點、測試時間、循環次數、電流、電壓、充電容量、放電...VMD預測模型GRU被OpenAI帶火的強化微調RFT技術解析
OpenAI年終大戲第二場推出了強化微調RFT(ReinforcementFineTuning)，它可以讓你用幾十到幾千個的訓練數據，為特定的復雜任務構建專家模型，加強了模型如何處理類似問題的推理，微調后的o1mini得分提高80%，反超o1正式版！強化微調技術的一種實現方式：首先通過監督式微調（SupervisedFineTuning）對模型進行預熱，然后利用在線強化學習，特別是PPO算法，進一步微調模型。這種方法能夠自動采樣多種推理路徑，并從真實答案中自然...OpenAIRFT技術中山大學、美團聯合團隊推出行為正則化與順序策略優化結合的離線多智能體學習算法
離線多智能體強化學習（MARL）是一個新興領域，目標是在從預先收集的數據集中學習最佳的多智能體策略。相比于單智能體情況，多智能體環境涉及到大規模的聯合狀態動作空間和多智能體間的耦合行為，這給離線策略優化帶來了額外的復雜性。隨著人工智能技術的發展，多智能體系統在諸如自動駕駛、智能家居和機器人協作等方面展現了巨大的應用潛力。但是離線MARL較單智能體情況下更加復雜，其涉及龐大的聯合狀態動作空間和多智能體間...算法多智能體MARL大模型面試實戰！Prompt調優
一、什么是Prompt調優？Prompt調優，顧名思義，是通過調整輸入給模型的提示詞（Prompt），來引導模型生成更為準確、連貫或符合預期的輸出。隨著大語言模型如GPT系列的出現，Prompt的設計成為了提高模型效果的重要工具。在面試中，解釋Prompt調優的第一步是確保面試官理解你為什么要調優，即你遇到了什么問題。二、案例實戰從問題出發在構建AI系統時，最初的版本往往會暴露出模型的局限性。以下是阿里云團隊發布的客服系統回答質...模型Prompt調優如何在安卓手機上本地安裝和運行LLM?
原創了解如何將AI的力量徑直帶入到你的安卓手機上：沒有云，沒有互聯網，只有純粹的設備端智能！在安卓手機上本地運行大語言模型（LLM）意味著你可以在不依賴云服務器或互聯網連接的情況下訪問人工智能（AI）模型。這種本地環境通過確保數據安全、并在設備端來確保隱私。隨著移動硬件領域的發展，在本地運行AI模型已成為了現實。MLCChat應用程序可以讓你很容易直接在手機上體驗這種功能強大的技術。本文將解釋在安卓手機上本地運行L...大語言模型LLMAI模型GraphRAG+Langchain實現大模型知識圖譜
理解GraphRAG其實并不難，可以理解為由兩個主要模塊組成：向量檢索(LocalSearch)局部知識圖譜社區檢索(GlobalSearch)所謂GraphRAG一定程度上可以理解為使用LLM生成知識圖譜，在對復雜信息進行文檔分析時可顯著提高問答性能，尤其是在處理私有數據時。GraphRAG構建流程主要是以下三個：圖表作為內容存儲：提取相關文檔塊并要求LLM使用它們進行回答。這種變體需要一個包含相關文本內容和元數據的KG，以及與矢量數據庫的集成。Grap...GraphRAGLangchainOCR-free感知多模態大模型技術鏈路及訓練數據細節
原創目前的一些多模態大模型的工作傾向于使用MLLM進行推理任務，然而，純OCR任務偏向于模型的感知能力，對于文檔場景，由于文字密度較高，現有方法往往通過增加圖像token的數量來提升性能。這種策略在增加新的語言時，需要重新進行訓練，計算開銷較大，成本較高。因此，本文再來看看vary和got這兩個銜接工作，看看其完整的技術鏈路。Vary傳統的vlm做法和vary技術點：新視覺詞匯表的生成：設計了一個詞匯網絡和一個小型解碼器Transfo...多模態大模型史上最貴！首個AI Agent程序員商業化，比ChatGPT Pro貴2倍
精華今天凌晨1點，全球首個AIAgent程序員Devin宣布全面開放使用，實現商業化。只是價格不是一般的貴，前幾天OpenAI發布的ChatGPTPro可以無限使用滿血o1、新版本Sora等功能，一個月才200美元。Devin直接一步到位500美元一個月，也是目前最貴的生成式AI產品之一。網友表示，這是一個糟糕的商業模式。大團隊的費用微不足道，小團隊或個人的費用卻高得難以承受。你最起碼出一個，個人訂閱模式吧。500美元真的很貴了。最好的一個月，好產...AI程序員比Janus更強！15M數據實現顛覆性統一多模態大模型！華為諾亞提出ILLUME
文章鏈接：https:arxiv.orgpdf2412.06673亮點分析本文提出了ILLUME，這是一種統一的多模態大語言模型（MLLM），能夠在單一的大語言模型（LLM）中無縫整合視覺理解與生成功能，并通過語義視覺分詞器和三階段訓練流程實現高效訓練。為了促進理解與生成能力的協同增強，本文提出了一種新穎的自增強多模態對齊機制，該機制訓練MLLM自行評估文本描述與自生成圖像之間的一致性。ILLUME在現有的統一多模態大語言模型中表現出色，并在多...模型生成適用于多圖的多模態大模型：粗粒度離散表征+細粒度連續表征提升圖像編碼準確性
今天給大家介紹一篇北大、阿里聯合發布的多模態大模型工作。這篇文章重點解決多圖像輸入的多模態大模型建模方法，融合粗粒度、細粒度信息，顯著提升了多模態大模型在多圖輸入復雜場景中的效果。論文標題：MaVEn:AnEffectiveMultigranularityHybridVisualEncodingFrameworkforMultimodalLargeLanguageModel下載地址：??https:arxiv.orgpdf2408.12321??1.研究背景現有的多模態大模型，大多數研究的都是一個圖像輸入的場景。而...多圖多模態大模型OpenAI直播第四日，ChatGPT迎來“All things Canvas”時代，全部用戶開放體驗
SamAltman照例缺席，首席產品官KevinWeil主持了第二日活動，圍繞十月份發布的Canvas展開，經過一個多月的迭代，Canvas能力再上一個臺階，由它加持的ChatGPT已經從單純的對話工具轉型為一個強大的生產力平臺，同時宣布將Canvas功能全面開放，所有用戶都能免費體驗。我們一起速覽canvas升級了些什么？本次更新的主要亮點包括：1.協作式寫作左側對話模式與右側可編輯文檔完美結合支持實時修改建議和一鍵應用更改提供多樣化的編輯選...ChatGPTAIGPTs910B芯片Swift多模態模型分布式訓練實踐
一、環境準備1.前置條件首先準備好訓練機器和數據，筆者采用了32節點910BNPU，300萬網頁訓練數據。2.環境配置環境安裝，首先安裝多模態訓練框架msswift，安裝torchnpu及deepspeed。安裝msswift(當前推薦從源碼安裝,待發版后可直接pip安裝)gitclonehttps:github.commodelscopeswift.gitcdswiftpipinstalle'.[llm]'安裝torchnpupipinstalltorchnpudecorator安裝deepspeedpipinstalldeepspeed完整python依賴版本見文末附錄3.環境驗...910B芯片Swift多模態SFT loss計算的那些坑，完美避開！！！
?SFT可以說是LLM的基本操作了，如果只是想把SFT跑起來是非常簡單的，只需要構造inputids和labels，然后就可以把訓練跑起來。然而，這樣的訓練效率實際上非常低。所以在訓練時，通常有兩個加速方法：多輪合并packing無論是哪種方法，加速后都需要保證loss和原來是等價的。本文主要介紹這兩種加速方法，以及loss計算時遇到的問題。1.多輪合并假設我們有一個對話，其中user和bot交互了3輪，我們可以構建三個樣本：inputids就是對...SFT計算LLM使用 LlamaFactory 結合開源大語言模型實現文本分類：從數據集構建到 LoRA 微調與推理評估
背景介紹本文將一步一步地，介紹如何使用llamafactory框架利用開源大語言模型完成文本分類的實驗，以LoRA微調qwenQwen2.57BInstruct為例。文本分類數據集按照alpaca樣式構建數據集，并在將其添加到LLaMAFactorydatadatasetinfo.json文件中。如此方便直接根據自定義數據集的名字，獲取到數據集的數據。[{"instruction":"","input":"請將以下文本分類到一個最符合的類別中。以下是類別及其定義：\n\n要求}}\nreason:\nlabel:","ou...LlamaFactory語言模型艾倫人工智能研究所 (AI2) 發布 OLMo 2：在多達 5T 代幣上訓練的新系列開源 7B 和 13B 語言模型
原創 精華01、概述在人工智能的世界里，語言模型的發展無疑是最令人矚目的領域之一。這些模型不僅在機器翻譯、內容生成和對話式AI應用中扮演著關鍵角色，而且它們的發展速度和影響力正以前所未有的速度增長。今天，我們就來聊聊這個領域最新的突破——OLMo2，一個由艾倫人工智能研究所（AllenInstituteforAI）推出的開源語言模型家族，它們正在重新定義開源AI的邊界。02、語言模型的挑戰與開源的重要性語言模型的發展一直面臨著一個難題...大語言模型Claude的MCP（模型上下文協議）簡介
原創01、概述隨著人工智能助手的廣泛應用，我們已經見證了AI技術在推理和質量方面的飛速進展。然而，即便是最先進的AI模型，也面臨著與數據源隔絕的問題——它們被信息孤島和老舊的系統所限制。每一條新的數據源都需要定制化的集成，真正連接各類系統的難度不言而喻。為了解決這一問題，我們今天正式開源了模型上下文協議（MCP，ModelContextProtocol）。這一全新的標準為AI助手提供了一種簡單而有效的方式，使其能夠無縫連接各類數...模型上下文協議MCPNVIDIA AI 推出 Fugatto：一個 25 億參數的音頻模型，可從文本和音頻輸入生成音樂、語音和聲音
原創 精華01、概述在音樂和聲音的世界中，創作、編輯和轉換音樂和聲音一直是一項技術與創意并存的挑戰。當前的AI模型往往在多樣性上掙扎，它們擅長于狹窄的任務或缺乏有效泛化的能力。這限制了AI輔助制作的發展，并阻礙了創意的適應性。為了讓AI真正為音樂和音頻制作做出貢獻，它必須具備多樣性、作曲能力，并能響應創意提示，讓藝術家能夠創造出獨特的聲音。顯然，我們需要一個能夠駕馭音頻和文本交互細節、執行創意轉換并提供高質量輸...Fugatto音頻模型RARE: 提升LLM推理準確性和事實完整性的檢索增強框架思路淺嘗
原創MCTS&rStar蒙特卡洛樹搜索（MCTS）蒙特卡洛樹搜索（MCTS）是一種用于解決復雜決策問題的算法，常用于游戲等領域。它的基本思想是通過構建一棵搜索樹并模擬各種可能的行動來估計每個行動的價值。MCTS的過程可以分為四個主要步驟：選擇（Selection）：從根節點開始，根據某種策略（如UCT）遍歷子節點，直到找到一個葉節點。UCT（UpperConfidenceBoundappliedonTrees）是一種平衡探索和利用的策略。擴展（Expansion）：在葉節點，...RAGLLM時間序列模型的演變：人工智能引領新的預測時代
原創我們正處于這樣一個時代：大型基礎模型（大規模通用神經網絡以無監督的方式使用大量不同的數據進行預訓練）徹底改變計算機視覺、自然語言處理以及最近的時間序列預測等領域。這種模型通過實現零樣本預測來重塑時間序列預測領域，允許使用新的、未見過的數據進行預測，無需針對每個數據集進行重新訓練。這一突破顯著縮減了開發時間和成本，簡化了為不同任務創建和微調模型的過程。機器學習方法在時間序列預測中的作用首次在M4和M...人工智能機器學習神經網絡
