架構(gòu)創(chuàng)新×模型創(chuàng)新!清微智能全面適配DeepSeek模型推理和訓(xùn)練
隨著大模型技術(shù)向多場景滲透,算力需求呈現(xiàn)「大規(guī)模、高彈性、低成本」三重挑戰(zhàn)。
清微智能基于全球領(lǐng)先的可重構(gòu)計算架構(gòu)(CGRA)推出可重構(gòu)算力芯片RPU(Reconfigurable Processing Unit),實現(xiàn)單機高效運行千億級參數(shù)模型推理和訓(xùn)練,以動態(tài)硬件重構(gòu)、全棧優(yōu)化及高能效比,重新定義國產(chǎn)AI芯片的性價比標(biāo)桿。
新年伊始,DeepSeek的驚艷亮相,不僅在科技圈掀起巨浪,其影響還涉及到經(jīng)濟、社會、政策等多個維度,相關(guān)企業(yè)迅速跟進。
以可重構(gòu)計算技術(shù)路線立足于國產(chǎn)AI芯片賽道的清微智能也積極響應(yīng),其RPU芯片已完成DeepSeek-R1系列模型的適配和部署運行。
清微智能RPU芯片通過可重構(gòu)計算架構(gòu)映射和數(shù)據(jù)流控制技術(shù),在處理AI任務(wù)時,以更高效率實現(xiàn)計算資源的動態(tài)調(diào)度分配,摒棄傳統(tǒng)指令處理流程和共享存儲數(shù)據(jù)交換機制,使硬件資源更聚焦于核心計算任務(wù)。
清微智能算力服務(wù)器支持無交換機自組網(wǎng)調(diào)度,顯著提升計算資源利用率與能效比,單機支持從1.5B、7B到六千億參數(shù)的DeepSeek全量模型,是國產(chǎn)算力支持國產(chǎn)DeepSeek大模型的高性價比獨特方案。
清微智能算力服務(wù)器具有訓(xùn)推一體特點,不僅在DeepSeek系列模型的推理上表現(xiàn)出優(yōu)異的性能,同時高性能支持基于DeepSeek模型對其他模型進行蒸餾訓(xùn)練,極大方便了用戶實現(xiàn)大模型本地私有化部署。
例如:使用DeepSeek-R1模型對NuminaMath-TIR等數(shù)據(jù)集的問題進行推理解答,生成的思考過程和答案作為Qwen2-7B模型蒸餾訓(xùn)練數(shù)據(jù)集,基于清微智能算力服務(wù)器加載蒸餾訓(xùn)練數(shù)據(jù)集和Qwen2-7B的模型權(quán)重及配置文件,進行Qwen2-7B模型的蒸餾訓(xùn)練。
連日來,DeepSeek系列模型的火爆出圈,凸顯了國產(chǎn)大模型創(chuàng)新爆發(fā)出震撼全球的威力。
清微智能RPU芯片以計算架構(gòu)創(chuàng)新,結(jié)合國產(chǎn)模型路徑創(chuàng)新,迸發(fā)出強強聯(lián)合1+1>2的效果,為AI用戶提供了更具經(jīng)濟性的組合選擇。