讓我們從一個場景開始，以建立對我們討論主題的基本理解。現在大多數人都熟悉的是“忠誠度或獎勵計劃”。

顧客使用他們的信用卡/借記卡進行金融交易，購買雜貨、T恤、書籍...或者訂購度假時的航班和酒店房間...使用專用支付方式進行任何購買。

公司然后根據消費金額向顧客提供積分、里程、返現或福利。顧客可以使用這些積分/里程/返現/獎勵來獲得折扣、免費產品或會員特權。企業這樣做是為了激勵再次購買，并建立與顧客的信任。

圖像來源：tibco.com

什么是事件流處理 (ESP)？ 那么，這是如何發生的？我的信用卡公司是如何將我花的每一美元與適當的費用類別匹配，然后向我授予我可以用來預訂酒店房間或機票的里程數的？這就是“事件流處理 (ESP)”發揮作用的地方。ESP是一種能夠處理持續數據流（事件流）的技術，一旦事件或變化發生，就能立即處理。通過處理單個數據點而不是整個批次，事件流處理平臺提供了一種架構，使軟件能夠理解、對事件作出反應，并在事件發生時運行。

ESP 平臺

讓我們從數據集成的角度來考慮這個過程，我們有一個從“源系統”開始的事件，其中包含有關新交易的數據，然后連接到“目標系統”，在那里事件變化被加載、分析和轉換成期望的結果。只需幾行代碼的簡單軟件可以執行此操作：

圖像來源：Learn Apache Kafka for Beginners

隨著源系統和/或目標系統的數量增加，數據集成挑戰也增加了。

圖像來源：Learn Apache Kafka for Beginners

因此，正如您所看到的，集成變得并不容易。源系統和/或目標系統的數量越多，就需要建立越多的集成，使架構變得非常復雜。此外，每個源系統可能會因來自目標系統的請求和連接數量增加而負擔過重。每個集成還會涉及協議、數據格式、數據模式和演變方面的困難。

這就是事件流處理平臺的用武之地。正如我們上面討論的，ESP平臺提供了一種使軟件能夠理解、對事件作出反應并在事件發生時運行的架構。

什么是 Apache Kafka？ — Kafka 是一種流行的事件流處理平臺。 與許多 ESP 平臺一樣，Kafka通過在源系統和目標系統之間引入解耦來解決數據集成挑戰：

Apache Kafka將收集、分類和存儲來自源系統（例如網站、定價數據、金融交易、用戶互動等）的所有數據。這些源系統被稱為“生產者”，它們生成 Kafka 數據流。當目標系統需要接收數據時，它們只需從 Kafka 數據中提取數據。因此，目標系統被稱為“消費者”。Kafka現在位于生成者接收數據和向消費者發送數據之間。

它是如何工作的？

Kafka的工作方式與消息隊列（例如 RabbitMQ）非常相似，但具有一些增強功能。Kafka有生產者和消費者的概念，正如前面討論過的。生產者將消息推送到Kafka，而接收者獲取它們。許多消息可能通過Kafka傳遞，因此為了區分它們并允許您隔離不同的處理上下文，Kafka將消息分組到“主題”中。

每個試圖發布某些內容的生產者都必須提供“主題名稱”。另一方面，消費者訂閱一組主題（可以同時有許多主題），然后從這些主題中獲取消息。

圖片來源：hevodata.com

總結一下，這些是關于Kafka的關鍵重要信息：

• 生產者將消息發布到隊列，消費者獲取它們進行處理。
• 消費者和生產者在一組被稱為主題的消息上工作。這使您能夠隔離不同類型的消息。
• 消費者分組成消費者組，允許您將工作負載分布到處于同一組的不同消費者實例中。
• 消費者是Java應用程序，可以擴展以提供更多(或更少)的處理能力。
• 每個主題分為分區 —— 單獨的消息塊，具有一個分區內的順序保證。可以根據需要配置分區的數量。
• 每條消息由主題名稱、分區號和偏移量唯一標識。
• 偏移量是從主題和分區存在的開始位置的消息編號。
• 提交的偏移量是存儲在Kafka中的偏移量，用于在消費者崩潰或重新啟動后恢復處理。可以將其視為檢查點。
• 消費者位置是消費者內部使用的偏移量，用于跟蹤下一次輪詢時要獲取的消息。

為什么使用 Apache Kafka？

Kafka是一個開源項目。它具有分布式、彈性的架構，并且容忍故障（您可以對其進行修補和維護，而無需關閉整個系統）。Kafka具有橫向擴展性。該項目旨在提供一個統一的、高吞吐量、低延遲（低于10毫秒）的平臺，用于處理實時數據流。

Kafka被許多組織（如Netflix、Uber、LinkedIn等）和IT團隊用作消息系統、活動跟蹤系統、流處理、微服務發布/訂閱、應用程序日志收集、度量數據收集、解耦系統依賴關系以及與其他大數據技術集成。

• Netflix使用Kafka實時應用建議，當用戶在他們的應用上觀看電視節目時。
• Uber使用Kafka實時收集用戶和行程數據，以計算和預測需求以及價格漲跌情況。這就是為什么您的Uber應用中相同行程的價格隨時都會發生變化。

Kafka是一個非常酷的平臺。我們可以使用Docker輕松在您的筆記本電腦上設置單節點Kafka集群。