【51CTO.com原創(chuàng)稿件】蘇寧木牛是蘇寧人工智能研發(fā)中心設(shè)計(jì)的一款智能設(shè)計(jì)產(chǎn)品，木牛取自三國(guó)諸葛亮發(fā)明的運(yùn)輸工具，意在提升設(shè)計(jì)師的工作效率。經(jīng)過(guò)幾年的發(fā)展，蘇寧木牛已經(jīng)從最初批量摳圖、批量合成的設(shè)計(jì)輔助工具，發(fā)展成為能夠理解設(shè)計(jì)規(guī)則、自適應(yīng)各應(yīng)用場(chǎng)景的設(shè)計(jì)約束的設(shè)計(jì)助手，并初步具備一定的學(xué)習(xí)能力，能夠在設(shè)計(jì)師少量輸入的情況下，延續(xù)設(shè)計(jì)師的風(fēng)格進(jìn)行持續(xù)創(chuàng)作。

蘇寧木牛已經(jīng)在業(yè)務(wù)場(chǎng)景里初現(xiàn)威力，在廣告投放中，設(shè)計(jì)師只需設(shè)計(jì)少量基礎(chǔ)模板，就可以生成海量banner，通過(guò)更精美的設(shè)計(jì)，更好的商品創(chuàng)意搭配，提升點(diǎn)擊率30%-80%;大促創(chuàng)意圖設(shè)計(jì)場(chǎng)景中，通過(guò)受限的智能合成，在保證創(chuàng)作質(zhì)量的情況下，提升設(shè)計(jì)師人效500%，全年批量合成圖片數(shù)億張。

成功的背后是團(tuán)隊(duì)幾年來(lái)的沉淀，3年前團(tuán)隊(duì)開(kāi)始嘗試把AI技術(shù)引入到設(shè)計(jì)智能應(yīng)用的過(guò)程中，在研發(fā)過(guò)程中最讓我們感到困難的是設(shè)計(jì)創(chuàng)意的不確定性，設(shè)計(jì)規(guī)則的不確定、優(yōu)化目標(biāo)與設(shè)計(jì)目的的不確定、評(píng)價(jià)標(biāo)準(zhǔn)的不確定。

為了克服設(shè)計(jì)過(guò)程的這種不確定性和模糊性，我們只能摸著石頭過(guò)河，通過(guò)一項(xiàng)項(xiàng)基礎(chǔ)算法的能力實(shí)現(xiàn)以及一個(gè)個(gè)業(yè)務(wù)場(chǎng)景的實(shí)踐逐步累積經(jīng)驗(yàn)。在最開(kāi)始，首先想要突破的是配色和布局兩個(gè)影響設(shè)計(jì)最為關(guān)鍵的因素，為此我們實(shí)現(xiàn)了智能配色以及尺寸拓展兩個(gè)小工具，這為后續(xù)的能力迭代打下了堅(jiān)實(shí)基礎(chǔ)。經(jīng)過(guò)大促氛圍圖、促銷(xiāo)打標(biāo)圖、站外廣告投放、smart banner等場(chǎng)景的歷練，蘇寧木牛逐步歸納總結(jié)，形成基礎(chǔ)引擎的四駕馬車(chē)，分別是智能素材引擎、智能創(chuàng)作引擎、智能合成引擎、智能優(yōu)選引擎。

圖1視覺(jué)創(chuàng)意平臺(tái)應(yīng)用架構(gòu)

智能素材

智能解析為智能設(shè)計(jì)提供了最根本的動(dòng)力源泉，無(wú)論是一個(gè)設(shè)計(jì)模板還是一個(gè)單獨(dú)的圖片，只要漂亮的設(shè)計(jì)資源都不會(huì)放棄，經(jīng)過(guò)智能解析后大部分都可以變成后續(xù)智能創(chuàng)作的素材。

商品主圖經(jīng)過(guò)質(zhì)檢識(shí)別和摳圖后，可以過(guò)濾掉牛皮癬過(guò)多、包含時(shí)效信息的不可用圖片，進(jìn)而再區(qū)分白底圖還是場(chǎng)景圖，并對(duì)牛皮癬區(qū)域進(jìn)行復(fù)原，對(duì)干凈圖片進(jìn)行摳圖形成透明圖庫(kù)，蘇寧木牛摳圖算法先經(jīng)過(guò)一個(gè)圖像分割網(wǎng)絡(luò)獲取trimap掩碼然后再經(jīng)過(guò)一個(gè)matting網(wǎng)絡(luò)優(yōu)化摳圖的邊緣結(jié)果，這種精細(xì)化摳圖算法可以使透明圖可用率提高到95%以上，同時(shí)還通過(guò)透明圖質(zhì)量審核算法判斷摳圖質(zhì)量，優(yōu)化商品重心偏移，過(guò)小以及多個(gè)商品主體等情況，進(jìn)一步提升透明圖庫(kù)的質(zhì)量和可用率，通過(guò)建設(shè)透明圖場(chǎng)景商品圖結(jié)合的商品圖庫(kù)，有效的提升圖片合成效果，在業(yè)務(wù)場(chǎng)景驗(yàn)證可以提升點(diǎn)擊率30%-80%。高質(zhì)量圖庫(kù)素材入庫(kù)全過(guò)程都是自動(dòng)完成，現(xiàn)在高質(zhì)量商品圖庫(kù)已經(jīng)覆蓋全部商品，節(jié)約人力審核成本上萬(wàn)人天，為千人千面的精準(zhǔn)投放提供了有力支撐。

圖2透明圖摳圖算法

除了商品圖庫(kù)的建設(shè)，素材庫(kù)的建設(shè)也是非常重要的基礎(chǔ)能力，設(shè)計(jì)師在進(jìn)行創(chuàng)作的時(shí)候也會(huì)進(jìn)行大量的調(diào)研獲取設(shè)計(jì)靈感和素材，高質(zhì)量的素材會(huì)為智能設(shè)計(jì)提供源源不斷的動(dòng)力，以往手工入庫(kù)素材的方式，通常需要消耗大量的人力和時(shí)間，而經(jīng)過(guò)智能解析，蘇寧木?？梢钥焖俚囊罁?jù)屬性將素材入庫(kù)。這個(gè)過(guò)程本質(zhì)是一個(gè)分類(lèi)問(wèn)題。設(shè)計(jì)師設(shè)計(jì)的一套完整的模板通常會(huì)包含諸多設(shè)計(jì)元素以及與之匹配的設(shè)計(jì)風(fēng)格，問(wèn)題的難點(diǎn)在于設(shè)計(jì)語(yǔ)言的語(yǔ)義信息如何轉(zhuǎn)換成機(jī)器語(yǔ)言從而讓其可分，從特征角度可以將其分為低級(jí)的基礎(chǔ)特征與高級(jí)的視覺(jué)語(yǔ)義特征，組合模板結(jié)構(gòu)中獲取的屬性結(jié)構(gòu)信息，設(shè)計(jì)出一套行之有效的識(shí)別邏輯從而達(dá)成可分。

對(duì)于基礎(chǔ)特征，蘇寧木牛直接通過(guò)圖像處理方法或者規(guī)則來(lái)提取，對(duì)于更高級(jí)的特征，采用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建分類(lèi)器來(lái)提取，組合邏輯，最終識(shí)別出素材的風(fēng)格調(diào)性、品類(lèi)、顏色、用途、使用位置、實(shí)體類(lèi)型等多種屬性，為后續(xù)的素材使用創(chuàng)作提供了海量數(shù)據(jù)支持，使得智能創(chuàng)作的一拓百，百拓萬(wàn)成為可能。對(duì)于質(zhì)量較低的素材，蘇寧木牛還會(huì)進(jìn)行美學(xué)篩選、智能裁剪以及超分辨率等手段來(lái)進(jìn)一步提升素材入庫(kù)的質(zhì)量。

基礎(chǔ)的素材庫(kù)建設(shè)同時(shí)，模板素材庫(kù)的累積也同步開(kāi)展，通過(guò)智能解析提取模板中有價(jià)值的信息，為布局排版、顏色搭配、素材搭配提供學(xué)習(xí)素材。一套完整的模板經(jīng)過(guò)圖層類(lèi)型識(shí)別、圖層分組歸類(lèi)、以及單圖層的屬性識(shí)別，從而將一個(gè)完整的模板庖丁解牛，圖層可以作為素材單獨(dú)使用，其解析出的結(jié)果轉(zhuǎn)換為專(zhuān)有數(shù)據(jù)結(jié)構(gòu)，既可以作為精致模板、也可以作為素材庫(kù)在系統(tǒng)里無(wú)縫銜接。

圖3模板素材解析流程

智能創(chuàng)作

智能創(chuàng)作環(huán)節(jié)是整個(gè)設(shè)計(jì)創(chuàng)意的核心，可以說(shuō)素材庫(kù)的質(zhì)量代表了設(shè)計(jì)創(chuàng)意的上限，而智能創(chuàng)作環(huán)節(jié)決定了設(shè)計(jì)創(chuàng)意能達(dá)到的高度。當(dāng)中遇到的首要難題還是設(shè)計(jì)創(chuàng)作這個(gè)開(kāi)放問(wèn)題如何轉(zhuǎn)換為計(jì)算機(jī)語(yǔ)言并實(shí)現(xiàn)，本質(zhì)是將其進(jìn)行了數(shù)學(xué)上的抽象和思考，使其可執(zhí)行，蘇寧團(tuán)隊(duì)在其中也做了很多的工作和嘗試。

舉一個(gè)例子，在進(jìn)行顏色拓展、尺寸拓展的算法工具研發(fā)時(shí)，團(tuán)隊(duì)就充分研究其與拓?fù)鋵W(xué)的聯(lián)系，發(fā)掘在設(shè)計(jì)中的拓?fù)渥儞Q的不變性。比如在尺寸拓展中，到底能不能從一個(gè)模板拓展到任意尺寸的模板?團(tuán)隊(duì)內(nèi)部進(jìn)行了激烈的討論，在最終的設(shè)計(jì)方案中我們的結(jié)論是實(shí)際應(yīng)用場(chǎng)景中，不同尺寸的模板實(shí)質(zhì)上不在同一個(gè)拓?fù)淇臻g中，無(wú)法實(shí)現(xiàn)連續(xù)變換。同樣在顏色拓展的設(shè)計(jì)中，顏色空間的變換也要符合拓?fù)涞倪B續(xù)性。在解決撞色和顏色遷移后模板不可用的問(wèn)題時(shí)，需要對(duì)一些特定圖層的顏色進(jìn)行改變，改變到什么顏色合適?遷移后的顏色會(huì)不會(huì)引起撞色的問(wèn)題?為了解決這個(gè)問(wèn)題，我們同樣借鑒了拓?fù)鋵W(xué)中經(jīng)典問(wèn)題“四色猜想”。四色猜想的內(nèi)容是任何一張地圖只用四種顏色就能使具有共同邊界的國(guó)家著上不同的顏色，其背后的幾何屬性是平面內(nèi)不可出現(xiàn)交叉而沒(méi)有公共點(diǎn)的兩條直線?；谶@樣的前提，算法在實(shí)現(xiàn)時(shí)候就無(wú)需引入一種新的顏色，當(dāng)圖片對(duì)應(yīng)的顏色空間主色大于4時(shí)，一定可以提取出可用的顏色來(lái)進(jìn)行變色和搭配，由于顏色都取自模板本身，其搭配效果和和諧程度都大大提升。類(lèi)似這樣的思考讓算法的設(shè)計(jì)少走了很多彎路，也讓我們前進(jìn)的更加堅(jiān)定。

圖4尺寸拓展與顏色遷移效果圖

在大量的應(yīng)用場(chǎng)景接入中，可以發(fā)現(xiàn)應(yīng)用場(chǎng)景都有明確的特定業(yè)務(wù)約束以及相對(duì)主觀的設(shè)計(jì)規(guī)則，而如何在創(chuàng)作的設(shè)計(jì)當(dāng)中融入這些約束，是我們面對(duì)的另一個(gè)難題。為了解決這個(gè)問(wèn)題，算法設(shè)計(jì)了靜態(tài)規(guī)劃取材功能以及動(dòng)態(tài)微調(diào)功能來(lái)進(jìn)行學(xué)習(xí)生產(chǎn)。

對(duì)于靜態(tài)規(guī)劃取材功能，參考了個(gè)性化推薦場(chǎng)景進(jìn)行構(gòu)建，根據(jù)輸入信息的不同，從豐富的模板素材、布局素材、圖片素材、文案素材中快速召回出候選素材，再通過(guò)更多特征參與的排序算法選擇合適素材以及素材組合。在召回環(huán)節(jié)采用多路召回，根據(jù)素材的風(fēng)格、品類(lèi)、適用場(chǎng)景、顏色、其他相關(guān)素材同時(shí)出現(xiàn)的幾率、歷史點(diǎn)擊信息，大促信息等維度進(jìn)行了分路召回，既考慮了素材與輸入信息的搭配，同時(shí)也能兼顧歷史過(guò)往中的優(yōu)質(zhì)熱門(mén)素材內(nèi)容，這種方案可更便利的控制不同選擇邏輯在embedding時(shí)的權(quán)重，從而適配了不同場(chǎng)景的約束和規(guī)則在實(shí)際應(yīng)用中的取舍。排序環(huán)節(jié)是影響最終效果的關(guān)鍵部分，為此算法做了大量的特征工程，通過(guò)視覺(jué)元素的布局、主要顏色成分的分布、以及各個(gè)元素圖像特征的語(yǔ)義標(biāo)簽的組合，和目標(biāo)場(chǎng)景對(duì)輸出的需要進(jìn)行相似度的排序，最終按照匹配程度排序輸出素材。

在動(dòng)態(tài)微調(diào)環(huán)節(jié)，我們認(rèn)為設(shè)計(jì)的風(fēng)格已經(jīng)基本確定，參考設(shè)計(jì)師創(chuàng)造過(guò)程，需要進(jìn)行一些調(diào)整處理使其進(jìn)一步符合美學(xué)的標(biāo)準(zhǔn)，這個(gè)優(yōu)化過(guò)程很適合用強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)，我們?cè)O(shè)計(jì)的動(dòng)作有移動(dòng)、圖層順序調(diào)整、變色、縮放等，美學(xué)和效果的評(píng)價(jià)采用了布局配色是否合理、有無(wú)遮擋類(lèi)似這樣的一些基本設(shè)計(jì)原則，同時(shí)也結(jié)合了背景簡(jiǎn)潔、主體內(nèi)容突出、文案行數(shù)和比例協(xié)調(diào)等一些業(yè)務(wù)特點(diǎn)的評(píng)價(jià)標(biāo)準(zhǔn)。通過(guò)控制評(píng)價(jià)函數(shù)的設(shè)計(jì)和配置，我們兼容了不同場(chǎng)景的業(yè)務(wù)特點(diǎn)，使受限配置規(guī)則與一般美學(xué)規(guī)則自然融合，讓其能保證樓層圖顏色的統(tǒng)一，又能保證廣告圖的視覺(jué)沖擊力，也能保證促銷(xiāo)氛圍圖的復(fù)雜對(duì)齊規(guī)則基礎(chǔ)上的整齊統(tǒng)一。

圖5模板智能設(shè)計(jì)拓展效果

智能合成

智能合成引擎的目的是源源不斷的將算法計(jì)算的優(yōu)質(zhì)創(chuàng)意準(zhǔn)確快速的呈現(xiàn)給目標(biāo)用戶。在設(shè)計(jì)時(shí)，蘇寧木牛充分借鑒了photoshop的功能設(shè)計(jì)，實(shí)現(xiàn)了上百種圖片合成功能和效果，這其中最為復(fù)雜的是文字的渲染，需要考慮不同字體對(duì)生僻字支持的情況，還要通過(guò)細(xì)致的設(shè)置，解決英文、中文、數(shù)字等不同字符、行間距、字間距的文字錯(cuò)位問(wèn)題，更要對(duì)傾斜文案支持。

經(jīng)過(guò)長(zhǎng)期調(diào)研和不懈努力，蘇寧木牛的文字渲染模塊從字符渲染層面做了優(yōu)化，使得輸出文案每一行都不再是呆板的平鋪或者使用單一的顏色，而是結(jié)合了語(yǔ)義信息和其他先驗(yàn)經(jīng)驗(yàn)，實(shí)現(xiàn)多樣化的排版方式和藝術(shù)特效，輸出和設(shè)計(jì)師手工制作幾乎沒(méi)有差別的文案區(qū)域渲染效果。

除此之外，為了保證渲染的效果準(zhǔn)確自然，團(tuán)隊(duì)持續(xù)不斷的反復(fù)試驗(yàn)優(yōu)化效果，曾花了一周時(shí)間技術(shù)攻關(guān)使算法設(shè)計(jì)的色值與真實(shí)渲染的色值完全一致，也曾為了精益求精利用抗鋸齒算法來(lái)提升最終合成圖片的效果。通過(guò)海量的數(shù)據(jù)效果驗(yàn)證以及用戶的反饋，蘇寧木牛持續(xù)優(yōu)化，不斷提升創(chuàng)意合成的呈現(xiàn)效果

蘇寧木牛的合成系統(tǒng)是具有實(shí)時(shí)渲染能力的，這一方面得益于蘇寧圖片系統(tǒng)海量，安全，低成本高可靠的圖片處理服務(wù)。這一系統(tǒng)可以支持旋轉(zhuǎn)、縮放、裁剪、拼圖等圖像處理，還考慮了格式轉(zhuǎn)換、瘦身、復(fù)雜格式處理等編碼問(wèn)題，保證了業(yè)務(wù)在任何時(shí)間、任何地點(diǎn)、任何互聯(lián)網(wǎng)設(shè)備上對(duì)圖片進(jìn)行處理，同時(shí)也大量節(jié)省了存儲(chǔ)空間，使得系統(tǒng)不需要預(yù)先布置大量的機(jī)器進(jìn)行圖片合成，同時(shí)我們也支持移動(dòng)設(shè)備的合圖，通過(guò)嵌入sdk，使渲染合成能力前置到了用戶客戶端，進(jìn)一步提升了合成能力。為了進(jìn)一步提升用戶的體驗(yàn)，蘇寧木牛還花很大的精力實(shí)現(xiàn)了模板微編輯功能，通過(guò)微編輯系統(tǒng)可以采集到了設(shè)計(jì)師的優(yōu)化改進(jìn)，拿到第一手的用戶反饋，也可以讓用戶根據(jù)個(gè)性需求，進(jìn)一步提升合成效果，站在蘇寧木牛的肩膀上進(jìn)一步創(chuàng)作。這在不減少用戶在設(shè)計(jì)中的參與感的同時(shí)，最大限度降低對(duì)專(zhuān)業(yè)知識(shí)的依賴(lài)。以四兩撥千斤的手法巧妙地既保證了用戶對(duì)質(zhì)量的需求又滿足了對(duì)數(shù)量的要求。

智能優(yōu)選

智能合成的創(chuàng)意圖片已經(jīng)能夠完整地呈現(xiàn)給用戶，滿足用戶在以電商為主的各種場(chǎng)景中的使用需求，但蘇寧木牛沒(méi)有止步于此。在爭(zhēng)奪流量的時(shí)代，為了能讓蘇寧木牛設(shè)計(jì)出的創(chuàng)意圖片為商戶帶來(lái)最大的流量收益，我們建設(shè)了針對(duì)創(chuàng)意內(nèi)容的智能優(yōu)選引擎，并在2020年雙十一期間建立了奇功。

智能優(yōu)選引擎與商品的使用場(chǎng)景緊密結(jié)合，為商戶使用創(chuàng)意的效果負(fù)責(zé)。它通過(guò)持續(xù)分析創(chuàng)意圖片的曝光和點(diǎn)擊數(shù)據(jù)，找出能帶來(lái)更高點(diǎn)擊率的創(chuàng)意，并從視覺(jué)元素角度分析這些創(chuàng)意圖片的共性特征，根據(jù)分析結(jié)果，實(shí)時(shí)地調(diào)整生成的創(chuàng)意圖片內(nèi)容，更多地生成能帶來(lái)更高點(diǎn)擊率的創(chuàng)意圖片，以達(dá)到持續(xù)提升圖片點(diǎn)擊率的目的。

2020年雙十一期間，蘇寧木牛生成的創(chuàng)意圖片應(yīng)用于蘇寧易購(gòu)的廣告業(yè)務(wù)，并通過(guò)智能優(yōu)選引擎對(duì)創(chuàng)意不斷進(jìn)行優(yōu)化，約有60%的商品廣告，點(diǎn)擊率的提升在20%以上，約有30%的商品廣告，點(diǎn)擊率提升在10%至20%之間。

以某款嬰幼兒奶粉為例，將圖片中的背景進(jìn)行調(diào)整后，點(diǎn)擊率(CTR)提升了5%，將圖片中的文字改為更突出商品賣(mài)點(diǎn)的描述后，點(diǎn)擊率又提升了10%，再將背景調(diào)整為更貼合母嬰商品氛圍，CTR再次提升了5%。

總結(jié)與展望

在圖片以外，蘇寧木牛也進(jìn)行了其他視覺(jué)創(chuàng)造的積極嘗試，通過(guò)視頻的創(chuàng)作、加工、剪輯、音樂(lè)匹配等功能提升信息對(duì)用戶的有效傳遞，形成多通道、多模態(tài)、多媒體的智能設(shè)計(jì)能力。

隨著素材資源的豐富優(yōu)化，以及創(chuàng)作能力的持續(xù)提升，蘇寧木牛團(tuán)隊(duì)承接了蘇寧越來(lái)越多的業(yè)務(wù)場(chǎng)景需求，同時(shí)也在通過(guò)多業(yè)態(tài)經(jīng)營(yíng)的表現(xiàn)來(lái)進(jìn)行創(chuàng)意的監(jiān)控和評(píng)價(jià)，重新調(diào)整創(chuàng)意策略，算法持續(xù)訓(xùn)練學(xué)習(xí)，進(jìn)而形成“設(shè)計(jì)-投放-再設(shè)計(jì)”的循環(huán)反饋，構(gòu)建起用戶和產(chǎn)品的溝通橋梁，從而讓設(shè)計(jì)更美好，效果更專(zhuān)屬。

蘇寧木牛這一人工智能加持的設(shè)計(jì)引擎，充分解放設(shè)計(jì)師的雙手，降低設(shè)計(jì)的門(mén)檻和成本，實(shí)現(xiàn)批量、快速、豐富的視覺(jué)設(shè)計(jì)，提供千人千面的用戶體驗(yàn)。更加優(yōu)秀的創(chuàng)意設(shè)計(jì)是工具，提升用戶的體驗(yàn)才是目標(biāo)，相信在未來(lái)，蘇寧木牛這一更智能、更高效的創(chuàng)意設(shè)計(jì)引擎一定會(huì)在全渠道零售中發(fā)揮更大的作用，為行業(yè)降本增效、為用戶體驗(yàn)提升帶來(lái)更強(qiáng)的驅(qū)動(dòng)力。

作者簡(jiǎn)介

楊現(xiàn)，蘇寧科技集團(tuán)人工智能研發(fā)中心計(jì)算機(jī)視覺(jué)算法負(fù)責(zé)人，擁有多年計(jì)算機(jī)視覺(jué)算法研究經(jīng)驗(yàn)，曾參與蘇寧商品圖像識(shí)別、數(shù)字化門(mén)店、圖像內(nèi)容審核、視覺(jué)創(chuàng)意平臺(tái)等重要項(xiàng)目，對(duì)視覺(jué)算法在電商領(lǐng)域中的應(yīng)用與方案設(shè)計(jì)有深入的理解和思考。

劉永輝，蘇寧科技集團(tuán)人工智能研發(fā)中心智能創(chuàng)意產(chǎn)品部負(fù)責(zé)人，蘇寧木牛智能創(chuàng)意平臺(tái)產(chǎn)品線負(fù)責(zé)人，擁有15年以上零售、物聯(lián)網(wǎng)行業(yè)億元級(jí)toB項(xiàng)目的產(chǎn)品經(jīng)驗(yàn)，對(duì)大型SaaS服務(wù)產(chǎn)品的規(guī)劃和增長(zhǎng)有較為深入的研究與分析。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】