譯者 | 布加迪

審校 | 重樓

隨著許多公司日益受到數(shù)據(jù)和軟件的驅(qū)動，技術(shù)領(lǐng)導(dǎo)者要求縮短數(shù)據(jù)生成時(shí)間與數(shù)據(jù)使用時(shí)間之間的延遲差距。我們在許多行業(yè)和用例中看到了這一幕：

• 零售和金融服務(wù)中的欺詐預(yù)防，包括支付處理
• 零售、游戲和廣告中的個(gè)性化
• 運(yùn)輸路線優(yōu)化
• 緩解網(wǎng)絡(luò)安全中的突發(fā)威脅

如果數(shù)據(jù)移動出現(xiàn)延遲，所有這些例子都會釀成嚴(yán)重后果，所以縮短總的行動時(shí)間以保持競爭力就很重要。

本文將著重介紹一個(gè)用例：將數(shù)十億個(gè)數(shù)據(jù)和數(shù)千家公司在短短幾毫秒內(nèi)聚集在一起，以做出即時(shí)決策：實(shí)時(shí)在線廣告競標(biāo)。

廣告界有句老話：“我花在廣告上的錢有一半是浪費(fèi)的；問題在于，我不知道是哪一半。”而在數(shù)字時(shí)代，獲取數(shù)據(jù)容易得多。比如說，廣告交易平臺可以匿名分享這個(gè)信息：某網(wǎng)站的訪問者最近訪問了StubHub和Lionel Messi的Instagram頁面。在該頁面上為國際邁阿密球隊(duì)的球衣做付費(fèi)廣告是值得投入的，而且比為其他球隊(duì)或運(yùn)動項(xiàng)目的球衣做沒有針對性的廣告更有可能吸引滿意的客戶。

像這樣的交互（評估、購買和投放廣告的決定）在幾毫秒內(nèi)發(fā)生，每天發(fā)生數(shù)百萬次。這些交易的關(guān)鍵是數(shù)據(jù)的自由流動，以便及時(shí)做出行動，實(shí)時(shí)數(shù)據(jù)庫和流數(shù)據(jù)平臺常常提供了便利。不妨看看需求方平臺（DSP）如何使用流數(shù)據(jù)平臺Redpanda和實(shí)時(shí)數(shù)據(jù)庫Aerospike來實(shí)施解決方案，從而在快節(jié)奏的實(shí)時(shí)競標(biāo)環(huán)境中取得成功。

Aerospike簡介

Aerospike是一種實(shí)時(shí)數(shù)據(jù)庫，可以攝取、存儲和檢索數(shù)據(jù)，每秒處理數(shù)百萬個(gè)事務(wù)（TPS）的吞吐量，延遲時(shí)間不到1毫秒。事件流是攝入到Aerospike數(shù)據(jù)庫中的常見數(shù)據(jù)源之一。Aerospike可以直接或通過連接件將事件攝取到Redpanda、Apache Kafka及Apache Pulsar等流數(shù)據(jù)平臺。

這種情形很常見：將數(shù)據(jù)從流主題攝取到Aerospike中，對該數(shù)據(jù)進(jìn)行多次評估，并將數(shù)據(jù)發(fā)布到另一個(gè)主題，這一切都在幾毫秒內(nèi)完成。在廣告技術(shù)領(lǐng)域，Aerospike的一個(gè)關(guān)鍵用例是充當(dāng)用戶簡檔存儲系統(tǒng)。這個(gè)存儲系統(tǒng)擁有大量關(guān)于個(gè)人用戶的匿名信息，從偏好到過去的交互，不一而足。

Redpanda簡介

您可以把Redpanda想象成一個(gè)重新構(gòu)建的Kafka。Kafka是最受歡迎的流平臺之一，可確保在線生態(tài)系統(tǒng)的各部分之間無縫聯(lián)系。Redpanda使用Kafka API來確保與現(xiàn)有生態(tài)系統(tǒng)兼容，但它是用C++從頭開始重寫的，以最大限度地提高現(xiàn)代硬件的利用率。Redpanda的賣點(diǎn)之一是，它能夠可靠地處理大容量峰值，平均每秒支持高達(dá)數(shù)GB的數(shù)據(jù)。

實(shí)時(shí)競標(biāo)中的需求方平臺

為了理解DSP如何適應(yīng)廣告技術(shù)領(lǐng)域，我們需要了解實(shí)時(shí)競標(biāo)（RTB）。在RTB中，廣告商競相在網(wǎng)站上實(shí)時(shí)展示廣告，這需要供應(yīng)方平臺（SSP）、DSP、網(wǎng)站和廣告交易平臺之間的復(fù)雜互動。DSP扮演著至關(guān)重要的角色，它們代表廣告商，瞬間做出廣告位競標(biāo)方面的決定。DSP必須通過快速處理數(shù)據(jù)、瞄準(zhǔn)正確的受眾以及優(yōu)化競標(biāo)以贏得拍賣，從而使自己與眾不同。

圖1. 實(shí)時(shí)競標(biāo)概覽

DSP的實(shí)時(shí)數(shù)據(jù)架構(gòu)

在DSP的互聯(lián)世界中，多個(gè)關(guān)鍵數(shù)據(jù)組件發(fā)揮作用：用戶簡檔、可用廣告位、歷史數(shù)據(jù)和廣告創(chuàng)意。DSP需要根據(jù)可用數(shù)據(jù)快速創(chuàng)建潛在用戶的簡檔，評估來自SSP或廣告交易平臺的廣告位機(jī)會，以及設(shè)計(jì)符合用戶偏好和當(dāng)前活動的競標(biāo)。這個(gè)過程需要有效的數(shù)據(jù)移動和快速決策。

這時(shí)候Redpanda和Aerospike就有了用武之地。Redpanda提供了一種高性能的流引擎，使數(shù)據(jù)量的塊峰值能夠在幾毫秒內(nèi)通過DSP的內(nèi)部環(huán)境移動以及跨廣告技術(shù)生態(tài)系統(tǒng)的其余部分移動。Aerospike充當(dāng)數(shù)據(jù)歷史保管員，提供快速檢索數(shù)據(jù)查詢的功能，比如用戶、設(shè)備和會話。它能迅速檢索用戶簡檔和過去的交互信息，使DSP能夠根據(jù)個(gè)人喜好設(shè)計(jì)競標(biāo)。

圖2. DSP的實(shí)時(shí)數(shù)據(jù)架構(gòu)

如圖2所示，DSP整合了來自廣告交易平臺和發(fā)行方的信息，比如可用的廣告格式、匿名化的用戶興趣和地理位置數(shù)據(jù)。一些DSP僅留出10毫秒的余地來加載所有這些數(shù)據(jù)，為它們的競標(biāo)流程提供信息。Aerospike可以在1毫秒內(nèi)攝取數(shù)據(jù)，通常會直接連接到廣告交易平臺的API。

在許多例子中，數(shù)據(jù)生產(chǎn)者與數(shù)據(jù)消費(fèi)者實(shí)現(xiàn)脫離更有意義。在這種情況下，Aerospike可以使用其Kafka連接件將廣告交易平臺數(shù)據(jù)發(fā)布到Redpanda主題，使DSP內(nèi)的多個(gè)服務(wù)能夠訂閱該主題。比如說，一項(xiàng)定價(jià)優(yōu)化服務(wù)可以利用關(guān)于目標(biāo)用戶的歷史信息來豐富新的實(shí)時(shí)數(shù)據(jù)，從而幫助預(yù)測即將到來的競標(biāo)的廣告支出。

Redpanda提供了Kafka API，可以穩(wěn)定地提供低至5毫秒的p50延遲。一些DSP的外部數(shù)據(jù)將直接進(jìn)入到Redpanda的主題，比如關(guān)于廣告印象和競標(biāo)結(jié)果的數(shù)據(jù)。Aerospike還可以是任何這些主題的訂閱者，因?yàn)樗鼣U(kuò)展了歷史數(shù)據(jù)庫。

DSP利用Kafka API快速處理入站數(shù)據(jù)、評估廣告機(jī)會并生成競標(biāo)。實(shí)時(shí)競標(biāo)環(huán)境要求速度、準(zhǔn)確性以及處理巨大數(shù)據(jù)流的能力。Aerospike和Redpanda的結(jié)合既提供了實(shí)時(shí)數(shù)據(jù)流，又提供了幾乎即時(shí)地檢索過去數(shù)據(jù)的功能，以幫助DSP做出量身定制的明智競標(biāo)。這種數(shù)據(jù)的流動和整合確保了競標(biāo)請求、廣告機(jī)會和決策無縫流動，從而實(shí)現(xiàn)及時(shí)的廣告投放。

結(jié)論：駕馭實(shí)時(shí)領(lǐng)域

在動態(tài)的實(shí)時(shí)競標(biāo)領(lǐng)域，需求方平臺（DSP）依賴強(qiáng)大的現(xiàn)代平臺和高效的工具，在短短幾毫秒內(nèi)移動和匯總不同的數(shù)據(jù)，最終為客戶設(shè)計(jì)最佳競標(biāo)。在一個(gè)這樣的架構(gòu)中，Redpanda的高性能Kafka API與Aerospike快速檢索用戶簡檔的功能相輔相成，確保DSP擁有它們需要的所有信息，以便設(shè)計(jì)對用戶而言高度個(gè)性化的實(shí)時(shí)競標(biāo)。有了這種平臺，DSP可以靈活而精確地駕馭復(fù)雜的實(shí)時(shí)競標(biāo)生態(tài)系統(tǒng)，為成功的廣告投放和豐富的用戶體驗(yàn)鋪平道路。

原文標(biāo)題：Implementing High-Performance Ad Tech Demand-Side Platforms，作者：Daniel Landsman