如何用MLOps保障時(shí)效表達(dá)穩(wěn)定性

作者：凡飛 2024-12-12 09:18:21

消費(fèi)者選擇電商平臺(tái)進(jìn)行購(gòu)物，除了獨(dú)特的商品，購(gòu)物體驗(yàn)也越來(lái)越成為消費(fèi)者衡量平臺(tái)的重要標(biāo)準(zhǔn)。如何幫助客戶快速的檢索到自己想要購(gòu)買的商品，如何讓客戶買到性價(jià)比最高的商品，如何幫助客戶在更短的時(shí)間內(nèi)收到購(gòu)買的商品，這些都是平臺(tái)為消費(fèi)者提供的重要服務(wù)。

一、背景

圖片

我們先來(lái)直觀感受一下時(shí)效對(duì)體驗(yàn)的影響。從上面2張圖，我們能夠看到，右圖訂單的交付時(shí)效比較長(zhǎng)，客戶對(duì)訂單支付意愿就會(huì)大大降低，有行業(yè)專業(yè)人士分析，時(shí)效表達(dá)多一天，影響的GMV就達(dá)千萬(wàn)級(jí)，可見(jiàn)時(shí)效表達(dá)越短對(duì)應(yīng)的收益越大，但也會(huì)給供應(yīng)鏈履約帶來(lái)更大的成本。從運(yùn)營(yíng)的角度，如果想要給消費(fèi)者更短時(shí)效的體驗(yàn)，但卻超越了供應(yīng)鏈當(dāng)前的履約能力（比如告知消費(fèi)者1天送達(dá)，實(shí)際是3天），則會(huì)帶來(lái)大量客訴，在得物平臺(tái)因?yàn)橛小巴淼奖刭r”規(guī)則，會(huì)額外增加超時(shí)賠付優(yōu)惠券的負(fù)擔(dān)，引發(fā)資損。所以在得物做時(shí)效表達(dá)，需要同時(shí)兼顧時(shí)效的準(zhǔn)確率（告知消費(fèi)者1天送達(dá)，實(shí)際也是1天）和履約率（告知消費(fèi)者1天送達(dá)，實(shí)際不超過(guò)1天）。

在我們長(zhǎng)期探索過(guò)程中，模型逐漸經(jīng)歷了統(tǒng)計(jì)模型、ML模型、DL模型的演化。商業(yè)環(huán)境上也經(jīng)歷了惡劣天氣、春節(jié)、大促等各種極端場(chǎng)景的考驗(yàn)，算法模型也在一次次的挑戰(zhàn)中，變得越來(lái)越堅(jiān)實(shí)，并從手工操作逐步實(shí)現(xiàn)自動(dòng)化流程。為了讓流程更加高效、穩(wěn)定，我們引入了MLOps的理念，本文拋磚引玉，與大家一起聊聊，我們?cè)诮Y(jié)合MLOps應(yīng)用的心路歷程，期待能與大家碰撞出思維的火花。

二、什么是MLOps

附：MLOps方法論：

https://ml-ops.org/content/mlops-principles

MLOps的核心理念

隨著算法模型在工業(yè)界的應(yīng)用越來(lái)越深，越來(lái)越廣，業(yè)界逐漸實(shí)踐出一些標(biāo)準(zhǔn)，讓我們能更高效、更穩(wěn)定、低成本且長(zhǎng)久地管理模型的整個(gè)生命周期，涉及模型訓(xùn)練、模型發(fā)布、灰度或AB，及模型的長(zhǎng)期監(jiān)控等等。

其核心理念，主要有以下7個(gè)方面的模型管理規(guī)范：

Versioning，數(shù)據(jù)、模型、代碼等是否有版本記錄，是否能便捷地回溯；
Testing，數(shù)據(jù)、特征、模型的生成是否有邏輯校驗(yàn)；代碼是否有單元測(cè)試等；
Automation，數(shù)據(jù)、特征的生成是否有自動(dòng)調(diào)度，模型訓(xùn)練、搜參是否自動(dòng)，代碼提交合并是否CI/CD；
Reproducibility，基于Versioning的保障，是否能在任意時(shí)間復(fù)現(xiàn)歷史某次模型預(yù)測(cè)結(jié)果；
Deployment，發(fā)布在生產(chǎn)、AB、陪跑等環(huán)境，是否能保證入?yún)⒁恢滦裕a一致性；
Monitoring，模型精度下降是否能感知，數(shù)據(jù)漂移、數(shù)據(jù)泄露等是否會(huì)被發(fā)現(xiàn)；
Documentation & Project Structure，文檔、項(xiàng)目結(jié)構(gòu)是否具備可讀性，結(jié)構(gòu)性。

MLOps核心理念落地關(guān)鍵問(wèn)題

MLOps的核心理念，應(yīng)用到業(yè)務(wù)的過(guò)程，并不是一個(gè)完全由機(jī)器完成，全自動(dòng)化的過(guò)程，而是需要業(yè)務(wù)團(tuán)隊(duì)根據(jù)實(shí)際業(yè)務(wù)的情況，不斷調(diào)整入?yún)ⅲ{(diào)整模型的過(guò)程，會(huì)涉及大量的人與機(jī)器的交互。因此，如何將這些核心理念應(yīng)用到具體的業(yè)務(wù)中，我們需要思考2個(gè)方面的問(wèn)題：

算法模型在設(shè)計(jì)過(guò)程中，要保障業(yè)務(wù)執(zhí)行的效果

模型復(fù)現(xiàn)問(wèn)題：預(yù)測(cè)模型是如何生成的，如果模型丟失了，能否重新訓(xùn)練找回丟失的模型？
線上一致性問(wèn)題線上時(shí)效表達(dá)時(shí)，訂單是由哪個(gè)模型預(yù)測(cè)的？同樣的入?yún)⒔o到同一個(gè)模型預(yù)測(cè)，是否保持冪等？發(fā)布新模型時(shí)，如何保障模型上線后的效果符合預(yù)期？
模型快速升級(jí)問(wèn)題：線上指標(biāo)下降了，模型更新流程需要多少人工介入？更新頻次的增加，是否帶來(lái)人工成本線性增長(zhǎng)？

如何降低業(yè)務(wù)使用算法模型的門檻

運(yùn)營(yíng)模型的門檻是否可以降低？
業(yè)務(wù)、產(chǎn)品是否能配置化地訓(xùn)練、選擇自己需要的模型？
是否能讓更多樣化的業(yè)務(wù)決策能落地，獲得更好的業(yè)務(wù)收益呢？

三、MLOps關(guān)鍵理念的實(shí)踐--時(shí)效仿真產(chǎn)品

基于上述的思考，我們?cè)O(shè)計(jì)并開(kāi)發(fā)了時(shí)效仿真產(chǎn)品，并將MLOps的理念融入其中。

模型的可復(fù)現(xiàn)性

對(duì)于模型訓(xùn)練環(huán)節(jié)來(lái)說(shuō)，訓(xùn)練集、代碼版本和模型參數(shù)是三個(gè)非常重要的因素。其中代碼版本、模型超參可以通過(guò)git和數(shù)據(jù)庫(kù)控制，比較容易忽略的是訓(xùn)練集的狀態(tài)，我們通過(guò)數(shù)據(jù)分層和業(yè)務(wù)日期隔離兩種方法確保了訓(xùn)練集的可追溯性。

數(shù)據(jù)分層，保障數(shù)據(jù)版本一致性

如下左圖所示，在訓(xùn)練環(huán)節(jié)，時(shí)效仿真產(chǎn)品的用戶可以圈選任意天的訂單用作訓(xùn)練。同樣圈選了下列日期的樣本，站在不同日期訓(xùn)練是不一樣的。比如站在20240903和20240902，那么對(duì)于20240901支付的訓(xùn)練樣本，20240903會(huì)比20240902多一批已簽收訂單進(jìn)入模型訓(xùn)練。越近期的數(shù)據(jù)越能反映履約網(wǎng)絡(luò)的變化，一般20240903訓(xùn)練得到的模型預(yù)測(cè)會(huì)更準(zhǔn)一點(diǎn)。

時(shí)效仿真產(chǎn)品-訓(xùn)練樣本的圈選

數(shù)據(jù)分層

這就說(shuō)明了圈選同樣支付日期的訂單做訓(xùn)練樣本，因?yàn)橛?xùn)練日期不同導(dǎo)致已簽收訂單不同，進(jìn)而影響實(shí)際進(jìn)入模型訓(xùn)練的樣本不同。

針對(duì)這個(gè)問(wèn)題，我們做了數(shù)據(jù)分層，如上右圖所示，數(shù)倉(cāng)會(huì)將每日訂單的最新?tīng)顟B(tài)更新完畢，用戶發(fā)起仿真任務(wù)后，服務(wù)端按需取對(duì)應(yīng)訂單，通過(guò)仿真任務(wù)ID作為分區(qū)，落到訓(xùn)練集和預(yù)測(cè)集表。隨后通過(guò)AI計(jì)算平臺(tái)調(diào)起訓(xùn)練、預(yù)測(cè)任務(wù)，同樣傳入仿真任務(wù)ID，訓(xùn)練預(yù)測(cè)任務(wù)取相應(yīng)分區(qū)。這樣日后需要重新訓(xùn)練，我們能保證同一個(gè)仿真任務(wù)得到的數(shù)據(jù)是一樣的。

業(yè)務(wù)日期隔離，防止數(shù)據(jù)泄露問(wèn)題

數(shù)據(jù)分層雖然保障了數(shù)據(jù)版本的一致性，但時(shí)效場(chǎng)景因其特殊性，我們?nèi)钥赡苡龅綌?shù)據(jù)泄露的問(wèn)題。如下圖所示，按經(jīng)驗(yàn)訂單平均在4天內(nèi)能被簽收，但是數(shù)據(jù)上從20240830開(kāi)始訂單的簽收時(shí)間延長(zhǎng)了，因?yàn)?0240902是臺(tái)風(fēng)摩羯登陸的日子，受到臺(tái)風(fēng)天氣的影響，簽收時(shí)間也發(fā)生了變化。

針對(duì)20240830~20240901期間的支付訂單，做訂單簽收時(shí)長(zhǎng)的時(shí)效預(yù)測(cè)，有一部分訂單會(huì)在臺(tái)風(fēng)前簽收，有一部分會(huì)在臺(tái)風(fēng)后簽收，在臺(tái)風(fēng)到來(lái)前后訓(xùn)練得到的模型是完全不同的，預(yù)測(cè)的結(jié)果也是不同的。

在臺(tái)風(fēng)前訓(xùn)練，模型平均預(yù)測(cè)時(shí)間就是4天，
在臺(tái)風(fēng)后訓(xùn)練，模型就會(huì)預(yù)測(cè)時(shí)間偏長(zhǎng)。

如果臺(tái)風(fēng)結(jié)束后模型沒(méi)及時(shí)調(diào)整，那整個(gè)時(shí)效表達(dá)的準(zhǔn)確性就會(huì)大打折扣，不僅會(huì)破壞模型的可復(fù)現(xiàn)性，對(duì)模型準(zhǔn)確性也造成了影響。我們做過(guò)測(cè)算，在不加干預(yù)情況下，臺(tái)風(fēng)后預(yù)測(cè)樣本履約率會(huì)大幅上升(+2.3pt)，T日準(zhǔn)確率大幅折損(-30.82pt)，模型表達(dá)過(guò)于保守。

同支付訂單簽收區(qū)間示意圖

如何解決呢？

對(duì)于可復(fù)現(xiàn)性，我們?cè)诤笈_(tái)記錄了每個(gè)仿真任務(wù)的執(zhí)行業(yè)務(wù)日期，根據(jù)業(yè)務(wù)執(zhí)行日期來(lái)判斷，模型可以看到哪些天已簽收訂單做訓(xùn)練數(shù)據(jù)，這個(gè)場(chǎng)景里只要把業(yè)務(wù)日期固定在臺(tái)風(fēng)前，那不管是哪天訓(xùn)練的模型，其效果都是一樣的。
對(duì)于準(zhǔn)確性而言，我們希望讓模型訓(xùn)練正常日期，預(yù)測(cè)正常時(shí)長(zhǎng)，臺(tái)風(fēng)、暴雪等異常情況通過(guò)bcp（Business Continuity Planning）加時(shí)來(lái)保障，臺(tái)風(fēng)過(guò)后指標(biāo)能迅速回歸正常。基于此，我們?cè)跁r(shí)效仿真產(chǎn)品里設(shè)計(jì)了訂單圈選時(shí)間類型，可以按支付或應(yīng)履約日期來(lái)圈選，臺(tái)風(fēng)情況就按應(yīng)履約圈選臺(tái)風(fēng)前的樣本即可，如下左圖。

圖片

通過(guò)上述的產(chǎn)品設(shè)計(jì)，我們能保證模型在任意時(shí)間訓(xùn)練，任意歷史狀態(tài)下看到的數(shù)據(jù)都是一致的，為模型可復(fù)現(xiàn)性打下了基礎(chǔ)。每個(gè)模型訓(xùn)練完成后，除了保存模型文件，我們也會(huì)記錄代碼版本、特征、后處理策略等模型必要參數(shù)。

線上的一致性保障

當(dāng)我們得到理想的模型及仿真結(jié)果后，接下去要確保安全地上線，如何能確保也是知易行難。仿真可以失敗無(wú)數(shù)次，只要有一次成功就可以，上線卻不容許那么多次失敗，最好是一次成功。

在時(shí)效場(chǎng)景里更特殊的是：

隨著時(shí)間的推移我們的履約網(wǎng)絡(luò)能力是一個(gè)動(dòng)態(tài)變化的過(guò)程，相應(yīng)地模型也需要長(zhǎng)期頻繁的更新。
每次模型上線后，其效果一般要等訂單走完支付到簽收的生命周期后才能回收效果，一般今天上線的模型，下周才知道線上效果如何。

那么如何保障模型每次更新都是可靠的，通過(guò)一段時(shí)間的探索，我們找到了模型可靠性三步曲，依靠流量回放、流程保障和自動(dòng)發(fā)布來(lái)保障線上模型的效果。

流量回放，確保仿真入?yún)⒑途€上入?yún)⒁恢滦裕嵘Ｐ蜏?zhǔn)確率

我們經(jīng)常會(huì)遇到模型仿真效果很好，但線上陪跑就掉很多精度，排查后發(fā)現(xiàn)仿真和線上陪跑的入?yún)⒋嬖诓灰恢碌那闆r。比如賣家發(fā)貨地址、承運(yùn)商等信息，在支付的時(shí)候存在不確定性，線上有入?yún)⒀a(bǔ)齊邏輯，比如用子模型預(yù)測(cè)，或拿歷史眾數(shù)填充；但仿真時(shí)這些信息已成歷史，落在表里的是真實(shí)數(shù)據(jù)了。這就導(dǎo)致了線上、線下的入?yún)⒉灰恢隆?/p>

服務(wù)端同學(xué)為此建設(shè)了堅(jiān)實(shí)的流量回放能力。平臺(tái)不同的業(yè)務(wù)流程，各環(huán)節(jié)的預(yù)測(cè)是不同的。以相對(duì)復(fù)雜的現(xiàn)貨流程為例，需要預(yù)測(cè)商家發(fā)貨、頭程運(yùn)輸、庫(kù)內(nèi)作業(yè)和尾程運(yùn)輸，理論上每一段都可以用不同的模型來(lái)預(yù)測(cè)，每一段預(yù)測(cè)入?yún)⒍伎赡懿灰粯印７?wù)端同學(xué)設(shè)計(jì)的統(tǒng)一流量回放能力保障了在每一段的入?yún)ⅰ⒊鰠ⅰ⒄{(diào)用模型版本都記錄在案，做到了任意訂單的可追溯。

復(fù)雜的業(yè)務(wù)流程

統(tǒng)一的流量回放

對(duì)應(yīng)到模型訓(xùn)練、仿真環(huán)節(jié)，我們用真實(shí)數(shù)據(jù)做訓(xùn)練，用線上實(shí)際入?yún)?lái)仿真，這樣最大化地保障模型精度，減少了仿真與上線之間的精度損失。

流程保障，取得模型穩(wěn)定性和準(zhǔn)確性之間的平衡，最大化業(yè)務(wù)效果

網(wǎng)絡(luò)履約能力會(huì)受到多種事件變化因素的影響，根據(jù)事件因素的特點(diǎn)，大致可分為臨時(shí)性變化和長(zhǎng)久性變化。

臨時(shí)性變化：比如臺(tái)風(fēng)惡劣天氣、兩會(huì)管控、春節(jié)打烊等事件觸發(fā)，事件開(kāi)始時(shí)履約能力急劇變差，事件結(jié)束后馬上又恢復(fù)；
長(zhǎng)久性變化：比如承運(yùn)商班次調(diào)整、倉(cāng)網(wǎng)變化等，其影響時(shí)間較長(zhǎng)。

臨時(shí)性變化不應(yīng)該放入模型訓(xùn)練，長(zhǎng)久性變化應(yīng)該讓模型去學(xué)習(xí)，并且越早學(xué)習(xí)到表達(dá)就越準(zhǔn)。

如何判斷是臨時(shí)性還是長(zhǎng)久性變化呢？如果不加約束，盡量用最新數(shù)據(jù)訓(xùn)練，難以排除臨時(shí)性變化影響的樣本，這樣在事件結(jié)束后模型表達(dá)會(huì)偏保守，如上文的臺(tái)風(fēng)后陪跑，會(huì)損失指標(biāo)的穩(wěn)定性。如果加以約束，用履約已完成的訂單做訓(xùn)練，這樣可以通過(guò)履約時(shí)長(zhǎng)等統(tǒng)計(jì)數(shù)據(jù)來(lái)判斷是否屬臨時(shí)性異常，可以減少異常樣本的干擾，但也會(huì)損失一定準(zhǔn)確性。

與產(chǎn)品同學(xué)反復(fù)溝通了方案后，最終站在業(yè)務(wù)效果最大化的角度，我們選擇在穩(wěn)定性和準(zhǔn)確性之間取其平衡，每周會(huì)定時(shí)啟動(dòng)較新樣本仿真，選其中較優(yōu)模型進(jìn)入陪跑，待部分簽收后決策是否選擇模型上線，詳細(xì)流程如下圖。

圖片

模型自動(dòng)發(fā)布，確保模型落地效果

模型的發(fā)布涉及到一系列流程，流程中所做的配置和操作，對(duì)模型效果會(huì)有較大的影響。因此，模型的發(fā)布也是非常重要的環(huán)節(jié)。但模型發(fā)布，一般需要等一周后，有部分訂單簽收，才能看到實(shí)際的結(jié)果，存在滯后性。在早期曾發(fā)生過(guò)多起，因?yàn)槟Ｐ桶l(fā)布流程問(wèn)題，導(dǎo)致模型效果打了折扣，比如新特征模型取錯(cuò)了線上Redis特征名、Ark開(kāi)關(guān)配置錯(cuò)誤、模型更新后部分服務(wù)器sdk未升級(jí)等等。基于此，我們建立了模型自動(dòng)發(fā)布流程，將線上邏輯不符合預(yù)期的情況提前反映出來(lái)。

梳理了模型發(fā)布流程圖，將發(fā)布流程標(biāo)準(zhǔn)化，如下左圖所示；
取消發(fā)布流程中的手動(dòng)操作，改為系統(tǒng)自動(dòng)操作，同時(shí)沉淀了SLA；
接入了模型上線審批流：陪跑回收到符合預(yù)期的效果后，需要由業(yè)務(wù)方?jīng)Q策選用哪個(gè)模型上線，模型的上線，將直接決定業(yè)務(wù)運(yùn)營(yíng)的效果和管理成本，為此我們也接入了審批流，如下右圖所示；
建立離線陪跑相同模型的方法來(lái)驗(yàn)證線上、仿真預(yù)測(cè)的一致性，離線陪跑的訂單及入?yún)⑼ㄟ^(guò)流量回放獲得，兩邊對(duì)比預(yù)測(cè)結(jié)果是否一致；
建立舊模型反向陪跑：尤其模型有新特征或新邏輯的情況下，未來(lái)的網(wǎng)絡(luò)履約能力可能存在較大的波動(dòng)，如果舊模型直接下線，網(wǎng)絡(luò)履約能力波動(dòng)帶來(lái)的影響將很難，需要有舊模型的陪跑，才能確定是線上邏輯問(wèn)題，還是網(wǎng)絡(luò)履約能力變化問(wèn)題。

發(fā)布流程

上線審批流

良好的自動(dòng)化離不開(kāi)合理的自動(dòng)化流程設(shè)計(jì)，Automation作為MLOps的重要模塊，幫助我們較好的解決了手動(dòng)操作帶來(lái)的風(fēng)險(xiǎn)和人工成本，在流量回放的一致性驗(yàn)證、模型仿真陪跑流程、發(fā)布自動(dòng)化三方面做的自動(dòng)化為我們?nèi)粘５统杀具\(yùn)營(yíng)帶來(lái)了很大幫助。

模型落地標(biāo)準(zhǔn)化、產(chǎn)品化、自動(dòng)化，降低業(yè)務(wù)落地門檻

在模型線上表達(dá)比較穩(wěn)定之后，公司希望在不同的業(yè)務(wù)場(chǎng)景嘗試模型的應(yīng)用，比如經(jīng)濟(jì)型快遞獨(dú)立模型、周末獨(dú)立模型、支付和應(yīng)履約模型等，不同的場(chǎng)景應(yīng)用目的雖然不同，但其底層基礎(chǔ)流程大致相同，為了能夠讓業(yè)務(wù)根據(jù)不同的管理訴求，能夠靈活的調(diào)整模型訓(xùn)練集，我們跟時(shí)效工程、算法工程團(tuán)隊(duì)合作，借助AI計(jì)算平臺(tái)的調(diào)度能力，結(jié)合自研的faas，將模型訓(xùn)練、仿真做成了完全可自助的產(chǎn)品。其大致流程如下：

在產(chǎn)品前端，用戶可以按需選擇不同的樣本，選擇靈活性非常大，可以按不同周期、承運(yùn)商、類目、訂單類型、線路等等各種維度來(lái)圈選需要訓(xùn)練或仿真的訂單。服務(wù)端在接受訓(xùn)練、仿真請(qǐng)求后，按需生成訓(xùn)練集和預(yù)測(cè)集，再調(diào)度AI計(jì)算平臺(tái)執(zhí)行相應(yīng)任務(wù)。這里我們通過(guò) faas解耦與仿真邏輯解析層隔離的方式支撐了產(chǎn)品靈活性和底層架構(gòu)穩(wěn)定性。

faas解耦，提升算法維護(hù)模型的靈活性

如下左圖，沒(méi)有faas，調(diào)用KubeAI的邏輯非常深地耦合在服務(wù)端的代碼里，算法同學(xué)想要調(diào)整這部分配置，就需要服務(wù)端同學(xué)改代碼去發(fā)版；

如下右圖，有了faas，服務(wù)端只需要關(guān)心調(diào)用了哪個(gè)function，關(guān)鍵的入?yún)⑹鞘裁淳涂梢粤耍湔{(diào)用如右圖。鏡像版本、啟動(dòng)命令、模板ID的更新就解耦給到算法同學(xué)去維護(hù)了，增加了算法迭代靈活性的同時(shí)，保障了服務(wù)端接口的穩(wěn)定性。

服務(wù)端耦合過(guò)多調(diào)用AI計(jì)算平臺(tái)代碼

服務(wù)端只關(guān)心調(diào)用function和入?yún)?/span>

仿真邏輯解析層隔離，計(jì)算任務(wù)原子化，適配多種業(yè)務(wù)場(chǎng)景

業(yè)務(wù)的需求往往是復(fù)雜的，靈活的，多變的，比如：

增加多種業(yè)務(wù)類型如品牌直發(fā)、現(xiàn)貨；
批量訓(xùn)練、預(yù)測(cè)多個(gè)模型擇優(yōu)，不同模型對(duì)應(yīng)不同特征、超參等，最后將較優(yōu)模型注冊(cè)到仿真產(chǎn)品；
支持多種預(yù)測(cè)目標(biāo)，如支付-簽收、支付-到倉(cāng)、發(fā)貨-簽收等不同模型。

面對(duì)業(yè)務(wù)多變的需求，我們需要讓計(jì)算任務(wù)具有原子性，穩(wěn)定的特點(diǎn)。我們選擇在AI計(jì)算平臺(tái)實(shí)際執(zhí)行的任務(wù)中增加解析層和后處理層的方法，與用戶的需求交互，按需生成不同的配置、啟動(dòng)命令來(lái)調(diào)用pipline，中間執(zhí)行的pipline是一直穩(wěn)定的。

圖片

如此，我們將工程與算法的交互做了良好的解耦，讓工程與算法各司其職；讓底層穩(wěn)定下來(lái)，解析層靈動(dòng)起來(lái)。時(shí)效仿真產(chǎn)品就變得更敏捷，整個(gè)模型的訓(xùn)練、預(yù)測(cè)可以更高效、自動(dòng)地運(yùn)轉(zhuǎn)。

目前，模型的仿真已經(jīng)基本不需要算法同學(xué)介入，極大的解放了研發(fā)團(tuán)隊(duì)在模型探索業(yè)務(wù)應(yīng)用和模型更新上的精力，減少了研發(fā)在持續(xù)維護(hù)模型上的成本。

業(yè)務(wù)應(yīng)用效果

綜上所述，在保證模型效果的同時(shí)，將模型的應(yīng)用門檻降低，使得產(chǎn)品業(yè)務(wù)等非研發(fā)同學(xué)也能參與進(jìn)模型的應(yīng)用上來(lái)，借助其業(yè)務(wù)的敏感性和專業(yè)性，可以在更多的業(yè)務(wù)場(chǎng)景中創(chuàng)造進(jìn)一步價(jià)值。

本期我們將為大家介紹，業(yè)務(wù)在模型使用中，兩個(gè)比較典型的創(chuàng)新方法，一個(gè)是時(shí)效AB方法，帶來(lái)了較好的貨幣化收益，一個(gè)是新特征挖掘，顯著提升了模型準(zhǔn)確率兩個(gè)典型案例。

時(shí)效AB，貨幣化收益明顯

得物非常重視消費(fèi)者的購(gòu)物體驗(yàn)，在時(shí)效上，也制定了賠付策略，為用戶提供訂單時(shí)效保障，超時(shí)則提供賠付補(bǔ)償。這套策略提升了客戶訂單的轉(zhuǎn)化，留存，但也對(duì)時(shí)效的保障提出了更高的要求，不僅要考慮時(shí)效的準(zhǔn)確性，還需要兼顧賠付成本和GMV收益。如果時(shí)效表達(dá)過(guò)于激進(jìn)，可能會(huì)促轉(zhuǎn)化提高GMV，但同時(shí)增大了訂單超時(shí)的風(fēng)險(xiǎn)，造成晚到必賠及客訴成本，表達(dá)保守則反之。

那收益和成本之間的平衡點(diǎn)在哪兒呢？

產(chǎn)品同學(xué)由此牽頭做了AB實(shí)驗(yàn)，通過(guò)仿真產(chǎn)品，我們得到多組履約率和準(zhǔn)確率不同的組合，在不同用戶AB過(guò)程中找到了收益和成本之間的平衡點(diǎn)。

圖片

新特征挖掘，顯著提升模型準(zhǔn)確性

業(yè)務(wù)產(chǎn)品在運(yùn)營(yíng)管理中發(fā)現(xiàn)，相對(duì)日常，周末、節(jié)假日期間，部分商家、承運(yùn)商的網(wǎng)絡(luò)履約能力會(huì)有一定波動(dòng)，模型預(yù)測(cè)準(zhǔn)確度也會(huì)受到影響。

分析后發(fā)現(xiàn)，網(wǎng)絡(luò)履約能力的波動(dòng)可以由一系列統(tǒng)計(jì)指標(biāo)來(lái)刻畫(huà)，比如昨日支付單量、昨日未攬收單量比例等。那這些指標(biāo)能否讓模型感知到呢？

通過(guò)仿真產(chǎn)品測(cè)算得到這些指標(biāo)作為新特征，模型可以顯著提升準(zhǔn)確率，上線后也能保持相應(yīng)優(yōu)勢(shì)，使得平臺(tái)在周末、節(jié)假日期間也能提供高質(zhì)量履約服務(wù)。

通過(guò)產(chǎn)品化降低的使用門檻，我們也期望未來(lái)會(huì)有更多有意思的場(chǎng)景與產(chǎn)品業(yè)務(wù)同學(xué)共同挖掘，創(chuàng)造更大的價(jià)值！

五、延展scale的思考

經(jīng)過(guò)近1年的建設(shè)，供應(yīng)鏈算法團(tuán)隊(duì)和時(shí)效團(tuán)隊(duì)配合緊密做了完善的工程建設(shè)。但從長(zhǎng)遠(yuǎn)來(lái)看，供應(yīng)鏈未來(lái)會(huì)有越來(lái)越多的場(chǎng)景要復(fù)用同樣的能力，從短期來(lái)看，當(dāng)前合作模式也存在一定局限。

算法模型發(fā)布靈活性要求更高，預(yù)處理、后處理變動(dòng)靈活，而業(yè)務(wù)代碼又期望穩(wěn)定。
模型運(yùn)營(yíng)上對(duì)算法可見(jiàn)度較低，模型版本記錄、當(dāng)前上線陪跑了哪些模型對(duì)算法無(wú)法有效感知。
模型推理耦合在業(yè)務(wù)應(yīng)用里，對(duì)機(jī)器成本提高了要求。業(yè)務(wù)邏輯對(duì)機(jī)器配置要求低，但因?yàn)樗惴Ｐ蛯?duì)機(jī)器要求配置高，所以拉高了業(yè)務(wù)域的機(jī)器成本，不便運(yùn)維降本。

因此在最近供應(yīng)鏈算法工程小分隊(duì)成立了，并且與AI計(jì)算平臺(tái)團(tuán)隊(duì)強(qiáng)強(qiáng)聯(lián)合，希望把業(yè)務(wù)域邏輯和算法邏輯解耦開(kāi)來(lái)，讓算法同學(xué)能更好地干預(yù)、運(yùn)維模型，讓更多場(chǎng)景可以低成本地接入MLOps標(biāo)準(zhǔn)。

圖片

如上圖所示，讓AI負(fù)責(zé)底層調(diào)度，供應(yīng)鏈工程負(fù)責(zé)抽象公共能力，供應(yīng)鏈算法和業(yè)務(wù)開(kāi)發(fā)團(tuán)隊(duì)靈活地在各種場(chǎng)景落地。希望在不久的將來(lái)，我們有更多更好的故事可以與諸位分享，也歡迎各位業(yè)界大佬能加入我們團(tuán)隊(duì)！

責(zé)任編輯：武曉燕來(lái)源：得物技術(shù)