AI.x社區
- 登錄/注冊
泛AI架構設計：理解AI云原生
原創泛AI架構設計這個專欄主要關注圍繞著AI運用于實際的業務場景所需的系統架構設計，包括業務數據治理、模型訓練與管理、模型部署與調度。整體基于云原生技術，旨在通過開源領域的LLMOps或者MLOps技術，充分運用低代碼平臺構建高性能、高效率和敏捷響應的AI中臺。1.AI架構挑戰上面幾節從GPU的知識點入手，清晰的介紹了GPU原理、構造以及運算模型。有了初步的認知之后，回到最原始的AI需求，來看看其對于基礎架構的要求。AI最早于19...AI架構云原生探討大模型預訓練與微調之間的相互作用
今天給大家帶來一篇探討大模型預訓練與微調之間關系的文章，主要通過微調預訓練階段各個checkpoint，來發現預訓練本身或對下游微調有哪些影響。大模型在預訓練過程中的性能如何變化？更多步數的預訓練對下游微調有何影響？大模型微調學到了什么，又忘記了什么？Paper:https:arxiv.orgabs2408.06663由于目前開源模型中，開放全量checkpoints的模型較少，并且實驗成本較大，以下分析結果主要基于OLMo1B模型（同時訓練細節、預訓練...大模型預訓練微調從一個簡單的神經網絡模型開始
原創“神經網絡是一個復雜的系統工程，要想透過表象看本質就需要從最基礎的神經網絡開始”關于神經網絡的文章寫的也不少了，但一直沒弄明白神經網絡到底是怎么運作的；而現有的神經網絡模型又太復雜，如Transformer，CNN，RNN，以及各種應用場景(NLP，CV，分類任務，回歸任務等等)；導致我們無法看到神經網絡最本質的東西。所以，今天我們就來從最簡單的神經網絡開始學起。簡單神經網絡神經網絡的基本原理很簡單，那就是模仿由人類...神經網絡模型神經網絡神經元RAG vs. GraphRAG：誰才是 AI 問答的終極答案？
一、為什么需要RAG和GraphRAG技術？1.1大模型的局限性大型語言模型（LLMs,LargeLanguageModels）雖然在生成文本方面表現出色，但它們存在一些固有缺陷。比如，LLMs容易出現“幻覺”現象，即生成不準確或虛構的內容。此外，LLMs的上下文窗口有限，無法處理過長的文本，還存在隱私泄露的風險。為了彌補這些不足，檢索增強生成（RAG,RetrievalAugmentedGeneration）技術應運而生。RAG通過從外部數據源檢索相關信息，顯著提升了模型...RAGGraphRAGAIDeepSearcher 開源：告別傳統 RAG，私有數據+DeepSeek，打造本地版 Deep Research
原創近期，OpenAI推出的DeepResearch（深度研究）功能引發了廣泛關注。該功能通過整合大模型、超級搜索和研究助理于一體，使得金融機構能夠一鍵生成報告，科研人員能夠一鍵撰寫綜述，極大提升了效率。然而，由于企業場景中私有化數據的敏感性和成本考慮，如何將DeepResearch進行開源的本地化部署，成為許多人的關注焦點。在這篇文章中，我們將對市場上模仿DeepResearch的開源項目進行簡要分析，并結合Deepseek等主流開源模型，Zilli...DeepSearcherRAGDeepSeek開源后 DeepSeek R1 時代：從資本壁壘到技術普惠
原創 精華編者按：AI落地又一次迎來拐點了嗎？當模型蒸餾技術能以零頭成本復刻頂尖AI性能，傳統巨頭的商業壁壘是否已形同虛設？我們今天為大家帶來的文章，作者的核心觀點是：以深度求索（DeepSeek）R1模型為代表的高效推理技術，正在顛覆AI經濟的底層規則，推動行業進入“輕量化革命”時代。文章重點圍繞三大話題展開：R1模型的革新性訓練方案：通過純強化學習的R1Zero生成合成數據，結合三重獎勵機制，使模型以極低推理成本實現與OpenA...DeepSeekAILLMs綜述：DeepSeek Infra/V1/MoE/V2/V3/R1 & 開源關鍵技術
精華一、引言DeepSeek從2024年01月到2025年01月發布了一系列模型，其中最主要的就是語言系列模型，這個文檔中我們會對語言模型涉及的關鍵技術進行具體介紹：語言模型：DeepSeekV1、MoE、V2、V3。多模態模型：DeepSeekVL1、VL2、Janus。數學、代碼、Reasoning模型：DeepSeekMath、Coder、CoderV2、R1。如下圖所示，圖中我們匯集了DeepSeekV1、MoE、V2、V3、R1系列模型中的關鍵技術點；此外，也補充了DeepSeekA100和H800GPU集群的關鍵...DeepSeek開源技術一張圖生成舞蹈視頻！字節等發布黑科技X-Dancer：零樣本音樂驅動，真實感碾壓3D方案
論文鏈接：https:arxiv.orgpdf2502.17414亮點直擊一種基于TransformerDiffusion的新型音樂到舞蹈人體圖像動畫方法，在運動多樣性、表現力、音樂對齊和視頻質量方面達到了最先進的性能。一種跨模態Transformer模型，通過使用帶有關鍵點置信度的全身2D人體姿態的多尺度tokenization方案，捕捉與音樂特征同步的長距離舞蹈動作。一種基于擴散的人體圖像動畫模型，能夠解釋時間姿態tokens并將其轉化為一致的高分辨率視頻輸出。展示了...模型AI數據微軟Phi-4-Mini技術報告：Phi-4-Mini如何以小博大
精華想象一下，如今的AI世界里，大模型如GPT4、Claude動輒上百億參數，能力驚人卻耗資巨大，像是一輛輛豪華跑車，雖快卻燒油無數。普通人或中小企業想用AI解決問題時，常常被高昂的成本擋在門外。可就在這時候，微軟扔出了一顆“重磅炸彈”——Phi4Mini和Phi4Multimodal。這兩個小巧的模型，參數量僅3.8億，卻在語言、數學、編碼甚至多模態任務上表現出色，堪稱“小身軀，大能量”。這不禁讓人好奇：微軟是怎么讓“小個子”打敗“大...微軟Phi-4-Mini技術剛剛，OpenAI發布NextGenAI，徹底顛覆傳統教育
今天凌晨，OpenAI發布了NextGenAI，并提供5000萬美元和最新模型API。這是一個由15家全球頂尖大學組成的AI教育聯盟，顛覆傳統教育加速AI在該領域的創新應用。這些成員分別是，加州理工學院、加州州立大學、杜克大學、佐治亞大學、哈佛大學、霍華德大學、麻省理工學院、密歇根大學；密西西比大學、俄亥俄州立大學、牛津大學、巴黎政治學院、德克薩斯A&M大學、波士頓兒童醫院和波士頓公共圖書館。目前，這些成員已經在使用OpenAI的...OpenAI模型AI用開源框架Chipper解鎖本地AI：無需云或API密鑰即可構建RAG應用
原創檢索增強生成（RAG）將檢索技術與生成模型相結合，徹底顛覆了我們與AI模型的交互方式。但從具體實現來看，我們該如何在本地構建RAG應用，同時擺脫對API密鑰或者云設施的依賴？這里要請出今天的主角：開源框架Chipper。無需單獨處理文檔分塊、向量數據庫、大模型集成和UI設置，Chipper將幫助用戶在幾分鐘內在本地機器上建立起獨立的RAG系統。下面我們將具體介紹：RAG架構的工作原理如何使用Chipper構建本地RAG應用程序對Chipper...Chipper檢索增強生成RAG騰訊元寶登頂下載榜，AI 下一戰拼什么？
3月3日深夜，騰訊元寶逆襲超越DeepSeek，登頂蘋果中國區免費應用榜。2月13日，騰訊元寶就有重大更新：同時支持混元與DeepSeek模型，讓DeepSeek能理解圖片，混元快速響應，“雙引擎”滿足多元需求。營銷上，騰訊更是豪擲數億投流，借助微信生態精準觸達用戶，放大技術優勢從產品創新層面來看，騰訊元寶基于現有技術架構的模塊化創新，創造了差異化價值。大膽預測一下：未來AI核心競爭力或許會聚焦三個方面：一是垂直領域，當下AI...騰訊元寶DeepSeekAI趨勢人工智能Anthropic 狂攬融資 35 億美元，估值達到 615 億美元；去年收入猛增10倍，近60倍估值溢價
原創出品51CTO技術棧（微信號：blog51cto）Anthropic今天宣布，該公司完成了35億美元的E輪融資，估值達到615億美元。該輪融資由光速創投（LightspeedVenturePartner）出資10億美元領投，柏尚投資（BessemerVenturePartners）、思科（CiscoInvestments）、D1CapitalPartners等新老投資方共同參與。相比去年，Anthropic的估值大概在184億至185億美元，這次身價直接翻了三倍！由此，Anthropic總籌集金額達到182億美元。這筆錢，用來做...Anthropic硅谷OpenAI一文讀懂 RAG-Gym：用過程監督優化推理與搜索智能體
精華傳統的檢索增強生成（RAG）架構依賴于靜態檢索，這使得它們在處理需要順序信息搜索的復雜問題時，效果大打折扣。雖然智能推理和搜索提供了一種更具適應性的方法，但現有的大多數方法在很大程度上都依賴于提示工程。為了解決這一問題，本文介紹了RAGGym，這是一個統一的優化框架，它通過在每個搜索步驟進行細粒度的過程監督，來提升信息搜索智能體的性能。核心貢獻引入RAGGym，這是一個利用過程監督優化智能RAG的統一框架。提出R...RAG搜索智能體allenai開源多模態的文檔智能解析大模型（OLMOCR）方法、效果淺析
原創先說結論，實際體驗一般，如果是下游rag文檔的元素不是特別復雜可以用一用這個端到端的多模態模型，如果版式元素豐富，還是老實進行文檔解析吧。但通過pdfparser工具結合prompt結合的方式值得一看。在線demo：https:olmocr.allenai.org開源權重地址：https:huggingface.coallenaiolmOCR7B0225previewpaper：EfficientPDFTextExtractionwithVisionLanguageModels，https:arxiv.orgpdf2502.18443v1code：https:github.comallenaio...大語言模型自然語言處理多模態LMEDR對話模型：引入自然語言推理數據提升對話模型的連貫性和一致性
一、概述title：YouTrulyUnderstandWhatINeed:IntellectualandFriendlyDialogueAgentsgroundingKnowledgeandPersona論文地址：https:aclanthology.org2022.findingsemnlp.75代碼地址：https:github.comdlawjddn803INFO1.1Motivation以前的研究將知識或個人資料混合融入預先訓練的語言模型。其同時考慮知識和人物角色的能力仍然是有限的，導致生成結果出現幻覺，并且使用人物角色的方法也很被動。1.2Methods提出一種有效的agent...LMEDR對話模型什么是工作流？如何創建和編排AI智能體工作流
原創智能體工作流是一種利用人工智能智能體（AIAgent）來自動化和優化業務流程的技術。AI智能體通過理解和分析數據，執行任務，并根據需要與人類協作提升工作效率、減少錯誤，幫助企業更快速地響應市場需求。2024年8月，知名AI專家吳恩達在演講中探討了AI智能體工作流的趨勢。吳恩達認為，智能體工作流將在未來三到五年內成為企業數字化轉型的核心技術，尤其是在提升流程效率和推動創新方面具有不可替代的價值。1、什么是智能體工作...智能體大模型人工智能連續小波變換（CWT）+時間序列預測！融合時頻分析與深度學習的預測新思路
前言本期更新推出一種基于連續小波變換（ContinuousWaveletTransform,CWT）與VGG模型的時間序列預測方法，將傳統時頻分析技術與深度學習相結合，有效解決了復雜時間序列的建模難題。通過將一維時序信號轉換為二維時頻圖像，充分利用卷積神經網絡（CNN）對圖像特征的強大提取能力，在保證時序局部特征的同時，顯著提升模型對非平穩信號的適應性。1.模型簡介模型核心思想（1）時頻轉換：利用CWT捕捉時序信號的時頻局部特性，生成...CWT時間序列預測HippoRAG 2發布，GraphRAG退位！
?為解決現有檢索增強生成（RAG）系統在模擬人類長期記憶的動態和關聯性方面的局限性，一種新型框架HippoRAG2提出并將開源！在三個關鍵維度上評估持續學習能力：事實記憶、感知構建和關聯性。HippoRAG2在所有基準類別中均超越了其他方法（RAPTOR、GraphRAG、LightRAG、HippoRAG），使其更接近真正的長期記憶系統。?HippoRAG2框架的核心思想：HippoRAG2基于HippoRAG的個性化PageRank算法，通過深度段落整合和更有效的在線LLM使...HippoRAGGraphRAGRAG沖，DeepSeek-R1/V3推理系統架構設計被開源了！
DeepSeek開源周并未結束，OneMoreThing：DeepSeekV3R1推理系統概述以及高達545%的成本利潤率：通過以下方式優化吞吐量和延遲??跨節點EP驅動的批量擴展??計算通信重疊??負載均衡DeepSeek在線服務的統計數據?每個H800節點每秒73.7k14.8k輸入輸出tokens??成本利潤率545%圖片DeepSeekV3R1推理系統的優化目標是：更大的吞吐，更低的延遲。圖片大規模跨節點專家并行（EP）由于DeepSeekV3R1模型具有高度稀疏性，每層256個專家中僅激...DeepSeek推理系統
