一、Deepexi 滴普企業(yè)大模型方案

1. DEEPEXI 產(chǎn)品邏輯架構

下面是算力基礎設施，包括 Fast5000E 企業(yè)算力平臺。上面 FastData 企業(yè)融合數(shù)據(jù)平臺，目前在原有基礎上向 AI 進行了跨越，可以支持在大數(shù)據(jù)平臺處理非結構化數(shù)據(jù)，比如文檔或者音視頻數(shù)據(jù)可以在平臺上進行訓練數(shù)據(jù)的加工。加工之后的數(shù)據(jù)提供給 FastAGI 企業(yè)大模型服務平臺進行模型工程做訓練。在上面會有 Agent，基于 LangChain 框架，實現(xiàn) RAG 召回，可以創(chuàng)建 AI 智能助手，為企業(yè)應用嵌入或者直接進行知識問答。

基于上述產(chǎn)品，可以支持多種場景，包括數(shù)據(jù)智能分析，即通過對話的方式來進行數(shù)倉數(shù)據(jù)的分析；單品大腦，即企業(yè)面向整個供應鏈進行快速反應；以及知識問答和用車助手，將企業(yè)知識數(shù)據(jù)訓練進去之后，通過問答的方式進行精準檢索。

2. DEEPEXI 產(chǎn)品功能架構

上圖是 DEEPEXI 產(chǎn)品的功能架構圖，下面是 Fast5000E 訓推一體機和 Deepexi滴普企業(yè)多模態(tài)大模型。

其上，在語料工程部分，可以從不同數(shù)據(jù)源進行數(shù)據(jù)采集，包括數(shù)倉、數(shù)據(jù)庫，還有文檔的一些存儲路徑，對象存儲、云上的存儲等等。同時提供統(tǒng)一的 catalog，對應用層以及 FastAGI 企業(yè)大模型服務平臺提供統(tǒng)一的元數(shù)據(jù)，使其可以直接訪問結構化數(shù)據(jù)、非結構化數(shù)據(jù)或者是大模型訓練加工的數(shù)據(jù)。

模型工程部分，在 FastAGI 企業(yè)大模型服務平臺的基礎上，支持智能體的構建、模型的訓練和微調(diào)，以及模型的推理和評估。

再向上，我們可以面向不同的場景提供產(chǎn)業(yè) AI 應用的能力。

3. DEEPEXI 產(chǎn)品技術架構

這張 DEEPEXI 產(chǎn)品技術架構圖展示了目前大模型相關的一些核心技術能力。左邊是語料工程，可以對本地數(shù)據(jù)源或外部數(shù)據(jù)源的數(shù)據(jù)進行加工。在一些場景中會進行預訓練，比如某些客戶需要自動地基于業(yè)務場景寫代碼，如果讓客戶去整理應用場景和代碼的關系是比較復雜的，因此我們先是把客戶大概十萬多個 API 進行了預訓練，再把這種應用場景和代碼進行指令精調(diào)。同時我們還通過 Prompt 的方式對輸出結果進行優(yōu)化。

我們的 Deepexi 滴普企業(yè)多模態(tài)大模型，除了基礎的 300 億參數(shù)之外，對于文檔的解析也用了很多小模型，比如對 PDF、word 進行解析，生成 markdown 格式的數(shù)據(jù)，再進行切片、數(shù)據(jù)的合成，并進行訓練。

Fast5000E 訓推一體機方面，我們具有對 GPU 集群的管理、對模型的管理、算力的池化等能力。

4. 從數(shù)據(jù)時代走向數(shù)據(jù)智能時代

無論是公司還是整個行業(yè)，都在從原有的數(shù)據(jù)時代向智能時代跨越。

二、語料工程

下面介紹模型訓練之前，我們在語料工程方面所做的工作。

1. 大模型訓練效果 80% 取決于數(shù)據(jù)質(zhì)量

我們認為模型訓練的效果 80% 取決于訓練數(shù)據(jù)集的質(zhì)量。我們在項目實際落地過程中，80% 的工作也都是做數(shù)據(jù)加工，包括訓練模型之后如何進一步提升任務的準確率，都是在做數(shù)據(jù)的清洗加工和不斷調(diào)整，包括跟業(yè)務進行比對，不斷提升數(shù)據(jù)質(zhì)量。

2. 大模型訓練數(shù)據(jù)加工過程

數(shù)據(jù)加工的過程如上圖所示。文檔可以從產(chǎn)品側上傳，之后通過嵌入在產(chǎn)品里面的一些小模型對數(shù)據(jù)進行解析，然后對解析之后的數(shù)據(jù)進行標注，可以通過模型進行標注，也會投入一些人工標注。比如我們在一個項目上落地大概有 1000 本左右的文檔，進行解析之后，由六位技術人員標注，模型標注完之后還需要人工去看數(shù)據(jù)是否正確。

標注完成后，我們會對數(shù)據(jù)進行切片，按三級標題來切成一個一個的知識點，基于這些知識點生成問答對。當然，我們也會用 GPT 的方式去生成問題，也可以自己訓練一個小模型去合成 QA 對。最后，利用這些問題，為 RAG 提升 Retrieve 的準確度。

3. RAG 過程示意圖

上圖展示了基于 RAG 的召回過程。生成的知識點會放到向量庫中進行向量化，之后一個問題過來時會到這個向量庫里面去檢索，檢索完的上下文，會用 Prompt 的方式，通過模型進行總結回答。這部分的核心工作就是對 embedding 模型的訓練。

4. 數(shù)據(jù) AI 分析方案

在數(shù)據(jù) AI 分析方案這個場景，一方面我們通過模型的能力自動生成 SQL，當然在企業(yè)很多復雜的場景中，生成的 SQL 準確度是不夠的，因此我們采用的方案是，有一些指標可能有 API 能夠直接取到，或者是我們可以配一些 SQL 模板，把一些參數(shù)變成變量來根據(jù)其意圖識別到。在實際落地過程中，不一定全是靠模型去生成，我們也測試過，單靠模型生成 SQL 的準確度只能達到 60%~70% 左右。加上 API 和 SQL 模板這些手段之后，目前準確度可以提升 90%。目前該功能已在企業(yè)生產(chǎn)環(huán)境中正式使用。

三、模型工程

下面介紹我們在模型方面的工作。

1. 通用大模型與企業(yè)大模型的關系

關于通用大模型與企業(yè)大模型之間的關系，從上圖中可以看到，最下面 L0 層是我們經(jīng)?？吹降囊恍┐竽Ｐ蛷S商，它們具有一些通用能力，包括知識理解能力、推理能力、音視頻的生成或者解析的能力。上面一層是行業(yè)大模型，比如法律的大模型、醫(yī)療的大模型，它們是面向整個行業(yè)的。我們在企業(yè)落地的時候，需要拿著企業(yè)真實的業(yè)務數(shù)據(jù)，結合行業(yè)大模型和通用大模型進行再訓練或者微調(diào)，才能滿足企業(yè)的應用場景，所以其實我們目前在落地過程當中，主要做的是 L1 和 L2 這部分的工作。

2. Deepexi 滴普企業(yè)大模型核心定位

我們目前的定位是把數(shù)據(jù)和模型結合到一起，幫助企業(yè)進行快速落地。

3. 大模型微調(diào)過程示意圖

大模型微調(diào)過程，首先是選擇大模型，我們選擇的是 300 億參數(shù)級別的模型。我們認為這個參數(shù)級別對于客戶壓力不會特別大，使用兩臺一體機，配置 8 張主流的 GPU卡，基本上就可以落地。如果參數(shù)過大，對于私有化場景，企業(yè)落地應用的成本比較高。如果選擇特別小的參數(shù)級別的話，又無法滿足企業(yè)一些比較復雜的場景需求。第二是準備數(shù)據(jù)集，一方面是行業(yè)的數(shù)據(jù)，另一方面是企業(yè)自身的私有化數(shù)據(jù)。我們大部分工作集中在第三部分，即微調(diào)，采用了全參、Lora 以及適配器層調(diào)優(yōu)幾種方式。最后一部分就是模型的測試評估和部署。

4. Deepexi 滴普企業(yè)大模型

我們在落地 Deepexi 滴普企業(yè)大模型過程當中總結了一些具體的方案，核心是幫助企業(yè)去訓練和調(diào)整其業(yè)務場景會用到的模型能力，主要包括以下三個方面：

• 第一塊是知識問答數(shù)據(jù)。
• 第二塊是 API 數(shù)據(jù)。模型的能力落地實際上還是在其業(yè)務流程中以嵌入式的方式實現(xiàn)一些智能化，或是做一些輔助分析、輔助決策。在決策過程中可能會產(chǎn)生一些動作，比如下單操作，要調(diào)系統(tǒng) API 進行操作，所以我們主要是訓練它語義上的意圖理解能力，還有 FunctionCall 的能力，以精準調(diào)用 API。
• 第三塊是 SQL 數(shù)據(jù)。在面向數(shù)據(jù)分析場景中，我們的一個核心優(yōu)勢是數(shù)據(jù)服務能力，很多老客戶需要提升數(shù)據(jù)分析場景的智能性，核心是需要這種 SQL 的能力，我們會訓練 SQL 的生成能力，再加上 API、SQL 模板能力來提升整個數(shù)據(jù)查詢的準確度。

5. 大模型微調(diào)方法

大模型微調(diào)也是圍繞這三個能力，生成三類訓練或者微調(diào)的數(shù)據(jù)。我們對模型進行訓練或者微調(diào)，調(diào)整的核心參數(shù)包括 learning_rate、warmup_ratio、num_train_epochs、model_max_length 等，根據(jù) loss 值的下降情況，來判斷如何調(diào)整模型參數(shù)和數(shù)據(jù)集。

6. 大模型量化方法

模型訓練之后，在模型推理過程中我們需要考慮客戶自身的成本，因此要對模型進行量化，核心是降低其計算復雜度，使得客戶能用更少的資源進行推理。當然，降低精度的話，準確度也會有一些喪失，我們也做了一些工作，盡量減少由于精度降低對推理的影響。

7. 大模型安全

目前業(yè)界對于模型安全的要求是非常高的，比如在一些政府行業(yè)項目中，有些敏感詞，如涉政、地域歧視、人身攻擊等是不能出現(xiàn)的，因此我們造了 23 萬條敏感詞匯數(shù)據(jù)集對模型進行微調(diào)，使敏感詞過濾能力有較大提升。

四、制造行業(yè)落地實踐

1. 某鞋服行業(yè)頭部企業(yè)聯(lián)手滴普科技自建 AI 訓推平臺，快速上線智能應用

某鞋服行業(yè)頭部企業(yè)在國內(nèi)擁有萬余家自營門店，我們與其共創(chuàng)了一整套與業(yè)務深入結合的流程，覆蓋了從底層算力服務一體機，到大數(shù)據(jù)平臺，再到基于模型的 AGI 平臺，核心落地實現(xiàn)了以下三大應用場景：

• 研發(fā)設計助手（文生圖）：

通過圖文模式、多圖融合、關鍵詞反推、線稿渲染、款式配色實現(xiàn)鞋服新品設計，引領創(chuàng)意，提升設計效率。

• 商品運營智能助手（面向一線）：

商品全生命周期的知識問答、數(shù)據(jù)分析、業(yè)務推理，實時了解庫存，提供補貨建議，提升商品流通效率。

• 零售供應鏈助手（面向管理者）：

打通供應鏈管理系統(tǒng)和零售運營系統(tǒng)數(shù)據(jù)，通過業(yè)務執(zhí)行輔助問答實現(xiàn)供應鏈流程智能化，提升決策效率。

我們目前與該鞋服行業(yè)的頭部企業(yè)共同探索的另外一個非常核心的場景是 OTB-滾動預算，即如何根據(jù)業(yè)務情況進行進行智能分析和調(diào)整預算目標。

2. 某國內(nèi)工程設計服務業(yè)的頭部企業(yè)聯(lián)手滴普自建 AI 訓推平臺，快速上線智能應用

某國內(nèi)工程設計服務業(yè)的頭部企業(yè)通過建設 AI 智能體平臺，實現(xiàn)了問答助手和設計助手兩大應用場景。

• 問答助手：

基于知識圖譜數(shù)據(jù)，利用 LLM 實現(xiàn)自然語言問答。其內(nèi)部有 80 多萬字的核心規(guī)范，我們也是在企業(yè)內(nèi)部進行訓練的。這是一個私有化的場景，沒法用通用大模型，也沒法用云的服務器，所以使用我們的一體機加上我們的模型訓練和 AGI 平臺來進行落地。

• 設計助手：

對已有圖紙文檔分析理解、專業(yè)文檔輔助生成、專業(yè)圖紙校審。最大的挑戰(zhàn)是要求 90% 的準確度，目前仍在不斷的優(yōu)化中，我們 80% 的工作都是要對齊這一需求，不管是回答風格、規(guī)范，還是語義場景。有時一個問題可能會涉及到七八本規(guī)范數(shù)據(jù)，模型推理可能會出現(xiàn)遺漏，影響準確度，所以我們做了大量的語料和訓練優(yōu)化的工作，目前已經(jīng)訓了十幾輪來不斷優(yōu)化和改進，包括 RAG 的增強，訓練 embedding 模型。

3. 滴普科技專注大模型在工業(yè)制造深入落地

滴普科技是領先的企業(yè) AI 基礎設施服務商，聚焦產(chǎn)業(yè) AI 應用，為客戶提供 DeepexiOS 企業(yè) AI 平臺及 DeepexiGenAI 企業(yè)核心領域的生成式 AI 應用，助力企業(yè)構建智能化基礎設施，并實現(xiàn)產(chǎn)業(yè) AI 應用落地。目前除了上述兩個典型場景之外，也在其他企業(yè)進行著不同程度的落地。憑借眾多標桿合作案例，滴普科技入選福布斯中國人工智能科技企業(yè) TOP50 榜單，并被認證為 2024 年第六批國家級專精特新 “小巨人” 企業(yè)。

今天的分享就到這里，感謝大家！

五、問答環(huán)節(jié)

Q1：前面介紹的案例，比如鞋服行業(yè)的例子里面，很多都是獲取如銷量數(shù)據(jù)或者銷量情況，如果我想問一些關于決策的問題，比如今天這個鞋要備貨多少件，或者是一些更偏向于歸因的問題，比如銷量變差是什么原因，這種情況下“問答助手”是怎么實現(xiàn)的？

A1：這其實就是剛才介紹的智能補貨場景，內(nèi)部稱為單品大腦。我們核心訓練三個任務，第一個任務就是識別商品編號，提供給系統(tǒng)調(diào)用，這里用到語義識別是通過模型進行訓練；第二個任務是拿到編號和一些參數(shù)之后，需要調(diào)哪個系統(tǒng)的 API，補貨邏輯在系統(tǒng)中已經(jīng)實現(xiàn)，我們只要更精準地調(diào)用 API 拿到這些數(shù)據(jù)；第三個任務是，有一些分析總結，有特別的規(guī)范，我們會按照規(guī)范的語料來進行訓練，最終把拿到的數(shù)據(jù)以及分析的結果通過規(guī)范的形式輸出出來。具體補多少量并不是模型給到他的，而是以 FunctionCall 的形式去調(diào)已有的業(yè)務系統(tǒng)來給出要補多少，我只是把這種分析的趨勢或者分析的結果給到這個系統(tǒng)，讓它給我返回結果。

Q2：模型的準確率如何匹配設計行業(yè)的實際需求？

A2：目前模型的能力達到 100% 幾乎是不太可能的，客戶要求是 90% 以上，這一目標涉及很多復雜問題，比如一個問題涉及到多本規(guī)范，還有復雜的表格、復雜的公式、復雜的圖紙，規(guī)范里邊還會有一些計算邏輯。模型需要幫助做好復雜推理，同時還有一些知識圖譜，會基于圖數(shù)據(jù)庫的知識，進行復雜的推理，這些都是需要進行提升的。

對于剩下的 10% 的不正確或不準確的回答，我們在回答問題過程中，不僅有結論，還會有分析過程，另外還會引用問題答案是從哪個規(guī)范里面出來的。基本上用戶可以快速判斷。另外還可以通過產(chǎn)品化的方式來解決，我們有點贊或者點踩，會在后臺收集到日志，如果這個問題回答的不好，被點踩了，我們會分析這類問題該如何優(yōu)化語料，以進一步提升。