AI.x社區
- 登錄/注冊
快手前端通用靜態托管服務 KFX 演進歷程：從崎嶇土路到平坦高速
原創快手靜態部署托管服務（KFX）歷經四年發展，經歷了三個階段，一步步從勉強能行車的“崎嶇土路”到現在多車道并行的“平坦高速”，這一轉變極大地提升了資源利用率和效率，滿足業務的實際需要。本文將帶你了解其背后的演進歷程。一、KFX前端通用靜態托管服務KFX是什么：KFX是快手前端通用靜態托管服務。為什么要有KFX？靜態托管服務是前端工程化發展的必然結果?？焓智岸瞬渴鸬陌l展大致經歷了這三個階段：1.直接在物理機上部署ng...前端推理增強生成ReAG，讓RAG效果更上一層樓
在檢索增強生成（RAG）技術嶄露頭角之際，業界對其賦予厚望，期待它能夠推動AI邁向新的智能高度。然而，實踐中RAG暴露出諸多缺陷，極大地限制了其應用效果與AI的發展進程。在此背景下，推理增強生成（ReAG）技術應運而生。ReAG憑借其獨特的技術架構與運行邏輯，為解決RAG問題提供新思路和可行方案，在AI升級之路上潛力巨大。1.傳統RAG的“槽點”傳統RAG系統就好比記憶力差的圖書管理員，看似在努力找資料，實則狀況百出：語義搜...ReAGRAGAI下一個AI前沿與革命：KAN 上
1.KAN這種新型的網絡架構的核心思想基于由柯爾莫哥洛夫阿諾德表示定理，它被寄予期望能夠替代多層感知器。MLP在節點（“神經單元”）上具有固定的激活函數，而KAN在邊上（“權重”）具有可學習的激活函數。KAN根本沒有線性權重—每個權重參數都被參數化為一元的splinefunction。大白話的意思就是：KAN中的每個激活函數不是在每個節點，而是在每條邊上。由一個一元函數（univariatefunction）組成，這些函數本身也是參數。意味著...AIKAN網絡來了！Kimi開源Moonlight-16B-A3B的MoE模型！！
言簡意賅，發現月之暗面開源MoE模型，總參數量15.29B，激活參數2.24B，使用Muon優化器，在5.7TTokens的訓練數據下，拿到了很好的效果。Github：https:github.comMoonshotAIMoonlightHF：https:huggingface.comoonshotaiMoonlight16BA3BPaper：https:github.comMoonshotAIMoonlightblobmasterMoonlight.pdf效果如下：比較Muon和Adam的擴展定律實驗，發現Muon的樣本效率比Adam高2倍。Muon優化器原理如下：同時，Moonlight16BA3B的...Kimi開源MoE吳泳銘預告的旗艦推理模型更了！阿里重磅推出QwQ-Max預覽版，Agent或成正式版王炸！
原創編輯伊風出品51CTO技術棧（微信號：blog51cto）吳泳銘親自預告過的，阿里旗艦推理模型，新消息來了。剛剛，它的預覽版正式發布和上線體驗——就是這個QwQMaxPreview！一眼看去，我愿稱之為最萌的推理模型，看blog主頁的名稱，感覺思維鏈中的模型正在很努力的思考中……圖片QwenChat中已經可以體驗預覽版模型：??https:chat.qwen.ai??點進模型的blog，發現這里有一個隱藏彩蛋，內容是由QwQMaxPreview自己寫的，我們可以看到A...吳泳銘R1QwQ-Max剛剛，DeepSeek開源DeepEP通信庫，千億MoE訓推顛覆級創新！FP8狂飆，帶飛GPU
精華剛剛，DeepSeek放出了開源第二彈——DeepEP！它擁有高效優化的alltoall通信，并具有以下特點：內部節點和節點間均支持NVLink和RDMA高吞吐量內核用于訓練和推理預填充低延遲推理解碼內核本地FP8調度支持可靈活控制的GPU資源，用于計算通信重疊具體來說，DeepEP是一個專為混合專家系統（MoE）和專家并行（EP）設計的通信庫。它提供高吞吐量和低延遲的GPU全互聯內核，也被稱為MoE的「調度」和「組合」操作。該庫還支持低精度運算，...DeepSeek開源訓練RAG 與 CAG：知識處理的新時代
原創01、概述在人工智能領域，知識檢索與處理方法一直在不斷進化。過去，基于檢索增強生成（RAG，RetrievalAugmentedGeneration）的系統長期占據主流，但如今，基于緩存增強生成（CAG，CacheAugmentedGeneration）的方法正在顯示出其顛覆傳統的潛力，逐漸成為新一代知識處理的主力軍。那么，RAG和CAG到底有什么區別？為什么CAG被認為是未來的方向？讓我們深入探討這兩種方法，了解它們各自的優缺點，以及為什么CAG可能成為未來知識...RAGCAG大型語言模型 (LLM) 入門的五個基本工具和框架
原創01、概述當第一次接觸大型語言模型（LargeLanguageModels,LLMs）時，既好奇又興奮。這些模型能夠生成文本、總結文檔，甚至翻譯語言的潛力讓我們眼前一亮，但與此同時，也會感到無從下手——面對如此強大的技術，又該從哪里開始呢？今天，想和大家分享五個對學習LLMs影響深遠的Python庫，希望它們也能為你的AI旅程提供啟發。02、學習LLMs相關的Python庫1）HuggingFaceTransformers：LLM入門的最佳選擇如果你剛開始接觸LLMs，那么...大型語言模型LLMPython直擊痛點，新一代身份保持視頻生成解決方案！阿里等提出FantasyID:多視角與3D融合！
文章鏈接：https:arxiv.orgpdf2502.13995項目鏈接：https:fantasyamap.github.iofantasyid亮點直擊首次嘗試從單視角參考圖像中提取3D面部先驗，以增強面部結構的穩定性，從而在整個視頻生成過程中有益于身份（ID）保持。通過采用多視角面部增強策略，能夠顯著增強對廣泛視角下2D面部外觀的感知，從而有益于與面部表情和頭部姿勢相關的運動動態。設計了一種可學習的層次化特征引導機制，以促進對身份保持和動態建模的精確控制，...視頻生成3DAI超過DeepSeek、o3，雙思維模型Claude 3.7來了
今天凌晨2點，著名大模型平臺Anthropic發布了首個雙思維模型——Claude3.7Sonnet。Claude3.7提供了標準和擴展兩種思考模式：標準思考是無需進行復雜的推理過程，就能立刻提供答案，例如，當用戶詢問“巴黎的埃菲爾鐵塔有多高？”，會迅速給出324米。擴展思維則提供復雜的推理過程，會展示詳細的推理思維鏈，用戶可以清晰地看到模型是如何逐步分析問題、應用邏輯，非常適合數學、生物等科研領域，還能通過API精準控制模型的思考...AI模型數據谷歌提出Titans：突破算力限制，擴展上下文
谷歌研究院發布一項新的研究Titans。通過引入全新的神經長期記憶模塊，三頭協同架構與硬件優化設計等模塊，在算力僅增加1.8倍的情況下，將大模型的上下文窗口擴展至200萬token。在語言建模、基因組分析、長時序預測等任務中全面超越現有Transformer及線性循環模型。目前，以Transformer為核心的預訓練大模型面臨一個悖論：依賴注意力機制精準建模依賴關系，但受限于二次方計算復雜度，上下文窗口難以突破數萬token。即便是線性T...AI訓練模型大語言模型：表面的推理能力背后是出色的規劃技巧
譯者劉汪洋審校重樓大語言模型(LLMs)在技術發展上取得了顯著突破。OpenAI的o3、Google的Gemini2.0和DeepSeek的R1展現出了卓越的能力：它們能處理復雜問題、生成自然的對話內容，甚至精確編寫代碼。業界常把這些先進的LLMs稱為"推理模型"，因為它們在分析和解決復雜問題時表現非凡。但我們需要思考一個關鍵問題：這些模型是否真的具備推理能力，還是僅僅在規劃方面特別出色？這個差異雖然細微，卻對理解LLMs的本質至關重要。讓我...大語言模型LLM推理規劃DeepSeek的多頭潛在注意力（MLA）和及其11種KV-Cache技巧演進大總結
原創引言本文將探討KVCache如何通過在內存使用和計算時間之間進行巧妙的權衡，使像ChatGPT和DeepSeek這樣的語言模型在生成文本時更快。總結11篇最近的研究論文，歸納三大類：token選擇、后處理壓縮技術和架構重新設計。包括DeepSeek的多頭潛在注意力（MLA），這些論文在這一基本思想的基礎上，進一步提高了大型語言模型（LLM）推理的時間效率。一、思考為什么文本生成如此緩慢讓我們從一個簡單的類比開始。想象你在寫一個故事，每寫...DeepSeek大語言模型自然語言處理黃仁勛首提DeepSeek！英偉達蒸發的6000億又回來了：市場誤判了R1的影響，計算仍然重要！
原創黃仁勛首度回應DeepSeek？其實不準確！在采訪中黃仁勛主動提及的DeepSeek，親自下場滅火，并稱贊到“（R1是）世界上第一個開源推理模型，這太令人興奮了，全球對我們開源的反響不可思議”！黃仁勛大膽總結說：（有人說R1出現后）我們不再需要進行任何計算了。實際上，情況正好相反！為啥呢？在老黃看來，未來的AI仍然需要三方面的Scaling：預訓練“仍然需要嚴謹，數據量要大，（還要有）多模態數據”后訓練的相關學習范式有很多...DeepSeek英偉達AI一文搞懂 DeepSeek 的蒸餾技術和案例實踐
原創DeepSeekR1在其論文（???https:arxiv.orgabs2501.12948???）引言部分指出，通過蒸餾技術，成功地將大模型的推理能力（比如：DeepSeekR1671B）傳遞給了更小型化的模型（比如：Qwen7B）。可以看出，蒸餾技術是DeepSeekR1重要的3大創新技術之一，下面詳細剖析。1、DeepSeek蒸餾技術深度解讀蒸餾(KnowledgeDistillation)是一種將大型復雜模型（教師模型，比如：D蒸餾(KnowledgeDistillation)是一種將大型復雜模型（教師模型，...DeepSeek蒸餾技術大模型干貨！100多條DeepSeek寫論文的經典指令
原創今日分享100多個常用的論文指令，希望對大家能帶來prompt的啟發和幫助...確定主題和標題1.舉例說明醫療保健的新趨勢，這可能是研究論文中有趣的研究主題。2.分析[插入主題名稱]的研究是否存在空白，并提出潛在的研究主題。3.使用定量和定性研究方法推薦研究[插入主題名稱]的主題。4.分析主題[插入主題名稱]的范圍是否足夠廣泛，并推薦我可以撰寫的相關主題。5.比較以下主題，并根據哪些主題具有更大的范圍和相關性，幫助我決定...DeepSeek論文指令DeepSeek開源周“第一刀”砍向算力！重磅開源FlashMLA，挑戰H800算力極限，網友直呼：極致的工程設計！
原創編輯伊風出品51CTO技術棧（微信號：blog51cto）上周五，DeepSeek剛剛預告了重磅開源周！周一一早，DeepSeek就履行承諾，開源了針對HopperGPU的高效MLA解碼內核——FlashMLA！圖片根據DeepSeek介紹，FlashMLA內核針對變長序列進行了優化，是已投入生產的核心技術。從DeepSeekV2開始，MLA出現在的所有的DeepSeek大模型里面，是DeepSeek大模型提升效果的非常重要的機制。MLA（MatrixLessAttention）多頭潛在注意力，通過數學變換避...DeepSeek開源FlashMLA顛覆直覺：Top N 越大，RAG效果可能越差
一、RAG系統的背景與挑戰在自然語言處理（NLP）領域，大型語言模型（LLMs）如GPT、BERT等已經展現出了強大的文本生成、問答和摘要能力。然而，這些模型也存在一些顯著的局限性。?首先，LLMs的知識是靜態的，這意味著它們無法及時更新以反映新信息，導致生成的回答可能過時。?其次，LLMs有時會生成聽起來合理但事實上錯誤的回答，這種現象被稱為“幻覺”。?最后，LLMs在涉及高級專業領域的知識時，往往缺乏足夠的深度。為了應...RAGLLMMixtralDeepSeek NSA & Moonshot MoBA 的見解
一、背景最近幾天DeepSeek的NSA以及Moonshot的MoBA受到廣泛關注，我也在第一時間看了相關論文。由于最近DeepSeek的火爆，各大平臺上也出現了非常多對這兩篇文章的介紹，這里不再贅述其襲擊，只是簡單陳述一下我的一些思考和看法。在看這兩篇論文的時候，我們可以發現其很多觀點和手段都似曾相識，其他在之前的Quest、SeerAttention（之前也分享過）等論文都有相關介紹。不過，其在工業落地方面提供了更多的可能性，比如Moonshot...DeepSeekMoBANSA重磅！Unsloth開源新算法：讓GRPO訓練大模型所需顯存降低90%，告別顯存焦慮！
圖片在大模型訓練領域，顯存一直是一個讓研究者和開發者頭疼的問題。特別是在進行長文本上下文訓練時，動輒需要幾百GB的顯存需求，這讓很多研究者望而卻步。不過最近，AI基礎設施優化團隊Unsloth帶來了一個重大突破他們推出的新算法可以讓GRPO訓練所需顯存減少高達90%！文章公布了Llama3.1(8B)GRPO在Colab上notebook，見：https:colab.research.google.comgithubunslothainotebooksblobmainnbLlama3.1(8B)GRPO.ipynb1、從510GB...Unsloth開源新算法
