來源：https:newsletter.maartengrootendorst.compavisualguidetomixtureofexperts如您關注最新發布的大型語言模型（LLM），可能會頻繁在標題中看到“MoE”這個詞。那么，“MoE”究竟是什么？為何眾多LLM都開始采用它呢？在這份圖解中，我們將通過50多張可視化圖，詳細探索這個重要組件——混合專家模型（MixtureofExperts,MoE）！在這份圖解中，我們將深入探討MoE的兩個主要組成部分，即專家（Experts）和路由器（Router），及...

?核心觀點1.大語言模型推理的定義常規觀點：大語言模型（LLM）的推理被視為類似人類的高級能力，定義模糊，常引發爭論。Zhou的觀點：推理爭論因缺乏明確定義而無意義；Zhou將推理定義為輸入與輸出之間的中間Token（推理步驟），僅是模型輸出的可預測行為，而非神秘過程。2.預訓練模型的推理能力常規觀點：預訓練模型需通過思維鏈（CoT）提示或微調才能具備推理能力。Zhou的觀點：預訓練模型已具備推理能力，推理路徑存在于輸出...

?摘要本文批判性地區分了人工智能代理（AIAgents）與代理式人工智能（AgenticAI），提出了結構化的概念分類、應用映射和挑戰分析，以闡明二者在設計理念和能力上的差異。本文首先概述了搜索策略和基礎定義，將AI代理描述為由大型語言模型（LLM）和大型圖像模型（LIM）驅動的模塊化系統，專注于狹窄、特定任務的自動化。生成式人工智能（GenerativeAI）被定位為前驅，而AI代理通過工具集成、提示工程和推理增強得以發展。相比之...

光子技術（Photonics）在數據中心AI加速中扮演著日益重要的角色。光學組件的全球市場規模已相當可觀，去年收入達170億美元。歷史上，電信領域（如海底光纜和光纖到戶）主導了需求。然而，如今數據通信領域，尤其是AI驅動的數據中心，已占據市場超60%的份額。這一轉變正在加速光學技術的增長。為匹配AI計算集群（包括GPU和定制加速器在內的xPU）不斷提升的性能，光學傳輸速率正迅速提高。圖1：光學組件市場歷史與預測。來源：OMD...

什么是AI代理？AI代理是一種軟件組件，具備代表用戶或系統自主執行任務的能力。用戶可將多個代理整合為系統，以協調復雜的工作流程、協同管理各代理間的活動、運用邏輯推理解決復雜問題，并評估用戶查詢的響應。如果你曾與客戶服務聊天機器人互動，或要求生成式AI模型創作一首十四行詩，那么你已經接觸到AI代理的基礎形式。若你察覺自ChatGPT推動生成式AI成為主流以來，其性能顯著提升，你的觀察并無偏差。盡管AI代理的概念已存...

?MinIOMinIOAIStor與ModelContextProtocol（MCP）Server應用的AI能力自然語言處理（NLP）：支持與主流大語言模型（LLMs）如AnthropicClaude或OpenAIGPT集成，用戶可通過自然語言進行意圖驅動的查詢（如：“FindunclassifiedimagesinbucketX”），無需編寫結構化命令，從而實現對存儲系統的類對話式交互。自動元數據標注：借助MCPServer的askobject功能，通過AI模型自動提取和分類非結構化數據（如圖像元數據），可能基于嵌入式...

?標題：UBMesh:aHierarchicallyLocalizednDFullMeshDatacenterNetworkArchitecture作者：HengLiao,BingyangLiu,XianpingChen,ZhigangGuo,ChuanningCheng,JianbingWang,XiangyuChen,PengDong,RuiMeng,WenjieLiu,ZheZhou,ZiyangZhang,YuhangGai,CunleQian,YiXiong,ZhongwuCheng,JingXia,YuliMa,XiChen,WenhuaDu,ShizhongXiao,ChungangLi,YongQin,LiudongXiong,ZhouYu,LvChen,LeiChen,BuyunWang,PeiWu,JunenGao,XiaochuLi,JianHe,...

?題目：FrontiersofAIandComputing:AConversationWithYannLeCunandBillDally談話人：BillDally,ChiefScientistandSVPofResearch,NVIDIAYannLeCun,ChiefAIScientistatMeta,ProfessoratNewYorkUniversity時間：March2025(GTC2025)核心觀點1.AI發展方向BillDallyAI在過去十年取得顯著進展，尤其得益于計算能力的提升，如GPU性能從Kepler到Blackwell增長5000至10000倍。AI未來需關注訓練與推理的權衡，強大模型需更多訓練資源，較...

?核心觀點1.HPCAI市場的快速增長與不確定性并存2024年HPCAI市場展現出強勁增長勢頭，超大規模AI基礎設施投資翻倍，ElCapitan等超算項目的突破標志技術進步。然而，AI熱潮可能對傳統HPC構成擠壓風險，同時存在泡沫破裂的擔憂。2.超大規模AI主導市場，傳統HPC面臨轉型壓力超大規模AI市場預計從2022年的約5萬單位增長至2028年的25萬單位，遠超本地部署HPCAI（2028年約5萬單位），顯示其主導地位。云化趨勢可能壓縮本地HPCAI市場，...

預計到2028年，AI的應用將促使企業數據存儲需求呈現指數級增長態勢。根據我們于2024年11月開展的一項調查顯示，在主要依賴云存儲管理AI數據的基礎設施采購決策者中，61%的受訪者預計其存儲需求到2028年將至少實現翻番。驅動這一需求增長的關鍵因素包括：數據保留周期的顯著延長（從6個月延長至永久保存）；73%的受訪者表示，他們采用了每日或每周一次的大型語言模型（LLM）檢查點機制80%的受訪者認為數據多副本對于AI數據管理“...

人們——此處特指“華爾街”及個人投資者——時常懷有非理性的預期。這一現象正發生在仍被我們稱為Google的公司身上，畢竟Alphabet僅為一家控股公司，主要持有Google的股份。昨晚市場收盤后，Google攜手AMD公布了2024年第四季度的財務業績，但華爾街對這兩家公司合理增長及盈利狀況并不買賬。并非所有公司都能如NVIDIA在過去一年半中所享有的那般財務表現，即便身為NVIDIA的強大合作伙伴，Google亦是如此。（Google有自研的TPU...

?隨著各行業企業為2025年的AI投資和戰略布局做準備，我們總結了企業在未來一年的核心關注點：基礎設施將成為最緊迫的投資領域，企業將重點構建AI代理（AIagents）和AI系統。企業將聚焦于數據優勢（dataadvantage），以通過AI獲取競爭優勢。AI培訓將致力于推動員工行為變革，促進AI的廣泛采用，并構建“人類參與”流程（humanintheloopprocesses）。AI將繼續成為2025年每位業務領導者戰略計劃的核心。根據最新調查顯示，70%的企...

?數據驅動的AI變革：AI的普及推動了存儲系統從單純追求性能向企業級綜合能力（包括數據管理、效率、韌性等）轉變，并凸顯了高質量數據和有效數據治理對AI戰略成功至關重要的作用。高性能對象存儲崛起：對象存儲正通過技術創新，突破傳統應用邊界，向高性能計算領域（尤其是AI和數據分析）拓展，并有望挑戰并行文件系統的主導地位。AI驅動混合云智能化升級：企業級AI工作負載的需求推動混合云從資源整合向更智能的集成和優化演...

?關鍵洞察AI驅動存儲轉型：AI的需求推動了對象存儲成為企業存儲的主導技術，尤其是對于大規模數據處理和并行計算工作負載，尤其是在AI模型訓練、推理及數據湖倉存儲中。對象存儲的普及：超過70%的云原生數據已存儲在對象存儲中，預計兩年內這一比例將增至75%。對象存儲因其性能、擴展性、安全性等特點，成為支持AI工作負載的首選技術。AI工作負載對存儲的需求：AI（尤其是生成式AI）對存儲性能和規模提出更高要求，對象存儲能...

會議：NeurIPS2024時間：December14,2024發言人：IlyaSutskever主題：SequencetoSequenceLearningwithNeuralNetworks:WhataDecade?IlyaSutskever是論文《基于神經網絡的序列到序列學習》（SequencetoSequenceLearningwithNeuralNetworks）的第一作者。該論文榮獲了NeurIPS2024的“TestofTime”論文獎。該獎項旨在表彰在2014年NeurIPS會議上發表、對研究領域產生了重大影響并經得起時間考驗的論文。自發布以來，該論文已被引用...

TeslaDojoTesla自研的D1芯片采用7納米制程，包含354個核心，每個核心擁有1.25MBSRAM，支持多種數據格式。單芯片計算能力達362TFLOPS，專為自動駕駛AI并行計算優化。DojoV1系統包含6個訓練模塊，共5.31萬個核心，運算能力為1exaflops；完整ExaPod系統擴展至120個模塊，106.2萬個核心，目標運算能力為20exaflops。每個訓練模塊提供9petaflops計算能力，配備高帶寬內存，單模塊功耗15千瓦。采用水冷設計，內存帶寬達400GBs（讀取）...

生成式AI的挑戰數據準備和管理：生成式AI的訓練需要整合分散在多個系統中的數據，數據格式復雜，常包含缺失值和噪聲，影響模型的訓練效果。企業需高效收集、清洗、轉換這些數據，并且要滿足大規模數據處理和高速存儲需求。同時，必須確保數據的安全和隱私合規。模型訓練和部署：訓練生成式AI模型需要大量計算資源和長時間的訓練，硬件成本高且訓練周期長。選擇合適的模型架構和超參數至關重要，并且需要有效的版本控制來管理多...

數據加載過程與性能優化數據加載的復雜性數據加載并不僅限于從存儲讀取數據，它涵蓋了解碼、格式轉換及數據增強等預處理環節。這些步驟通常在CPU上執行，目的是將原始數據轉換為GPU可處理的張量格式。數據加載的步驟數據加載流程可以概括為：?從存儲系統讀取數據到系統內存。解碼原始數據。應用數據變換和增強操作（如裁剪、尺寸調整）。將處理后的數據傳輸至GPU。?預取器的作用預取器顯著提升數據加載效率，它在模型訓練需要...

FASTFLOW:FlexibleAdaptiveCongestionControlforHighPerformanceDatacentersFASTFLOW：針對高性能數據中心的靈活自適應擁塞控制??https:arxiv.orgabs2404.01630??發表時間：2024年9月20日一、問題背景現代數據中心，特別是運行大規模AI訓練和HPC應用的數據中心，對網絡性能的要求越來越高。這些工作負載通常會產生突發性的、同步的流量，對傳統的擁塞控制算法提出了挑戰。現有擁塞控制算法的不足：基于延遲的算法：如Swift...