譯者 | 李睿

審校 | 重樓

有沒有想過Netflix如何讓人們目不轉睛地盯著屏幕享受不間斷的流媒體帶來的快樂? Netflix架構提供了流暢的流媒體體驗，吸引全球各地的觀眾。Netflix的系統架構強調了決定未來內容如何形成的重要性。現在開始Netflix流媒體世界的幕后之旅!

Netflix如今成為了一個集娛樂、追尷和尖端流媒體服務于一體的術語。Netflix的迅速走紅可能要歸功于其龐大的內容庫、遍布全球的業務以及富有彈性和創造性的架構。

從1997年提供DVD租賃服務開始，到如今發展成為一家全球主要的流媒體公司，Netflix一直在使用尖端技術來徹底革新媒體消費方式。

Netflix系統架構旨在高效可靠地同時為數百萬消費者提供內容。考慮到Netflix在全球190多個國家擁有2億多會員，其基礎設施的可擴展性至關重要。

因此，本文將深入研究Netflix架構的復雜性，并揭示它如何繼續塑造人們欣賞最喜歡的節目和電影的方式。

一、為什么要了解Netflix系統架構?

理解Netflix系統架構很重要，其中有幾個原因。最重要的原因是，它揭示了Netflix如何為全球客戶提供完美的流媒體體驗。通過探索這種架構的細微差別，可以更好地了解其成功背后的技術和策略。

此外，其他行業也可以將Netflix的設計作為開發可擴展、可靠和高效系統的藍圖而受益。其設計原則和最佳實踐可以提供構建和優化復雜分布式系統的重要經驗。

通過了解Netflix的架構，也可以認識到推動數字媒體消費發展的持續創新。

二、了解系統設計的需求

系統設計對于開發復雜的軟件或技術基礎設施至關重要。這些規范是構建整個系統、推動選擇和形成最終產品的基礎。然而，系統設計的先決條件是什么?是什么使它們變得至關重要?

1.功能需求

系統的功能需求指定了必須包含的特性、功能和能力。這些規范概述了系統的主要目標，并詳細說明了各個部分或模塊如何相互作用。例如，像Netflix這樣的流媒體平臺的功能需求可能包括以下內容，包括但不限于：

（1）創建帳戶：用戶能夠輕松創建帳戶，為注冊提供必要的信息。

（2）用戶登錄：注冊用戶應該能夠使用身份驗證憑證安全地登錄到他們的帳戶。

（3）內容建議：平臺應根據用戶偏好、觀看歷史等相關數據，提供個性化的內容建議。

（4）視頻回放功能：用戶應該能夠無縫地流式傳輸視頻，并具有播放、暫停、倒帶和快進等回放控制選項。

2.非功能性需求

非功能需求定義了系統在不同場景下的行為，并確保其滿足一些質量需求。它們涵蓋了系統的性能、可擴展性、可靠性、安全性和合規性方面。例如，像Netflix這樣的流媒體平臺的非功能需求可能包括但不限于：

（1）性能要求：在高利用率時期，系統必須保持低延遲和高吞吐量。

（2）合規性要求：對于用戶數據保護，平臺必須遵守《數據保護條例》標準。

（3）可擴展性要求：基礎設施必須是可擴展的，以便在不犧牲性能的情況下處理不斷增長的用戶流量。

（4）安全性要求：為了防止對用戶信息的不必要訪問，必須采用強身份驗證和加密過程。

（5）可靠性和可用性要求：對于不間斷的服務交付，系統需要包括故障轉移方法并保證高水平的正常運行時間。

三、Netflix架構：擁抱云原生

在2008年8月由于數據庫損壞而遭受重大挫折之后，Netflix公司得出了一個重要的結論：即有必要從單點故障轉向高度可靠、水平可擴展、基于云的解決方案。Netflix公司選擇亞馬遜網絡服務公司(AWS)作為其云服務提供商，并在2015年之前將其大部分服務轉移到云端，從而開啟了一段革命性的旅程。經過七年的努力，Netflix的云遷移工作于2016年1月初完成，這意味著這家流媒體服務商運營的數據中心全部關閉。

但將業務遷移到云端并不是一項簡單的任務。Netflix采用了云原生戰略，徹底改變了其運營模式和技術堆棧。這需要采用NoSQL數據庫，取消其數據模型的規范化，并從單一應用程序轉移到數百個微服務。文化的改變也是至關重要的，例如采用DevOps過程、持續交付和自助服務工程環境。盡管困難重重，但這種轉變使Netflix成為一家云原生企業，在快速變化的在線娛樂領域，為未來的擴張和創新做好了準備。

四、Netflix的三位一體架構

Netflix具有強大的三位一體架構——客戶端、后端和內容交付網絡(CDN)，負責Netflix完美的用戶體驗。由于全球有數以億計的觀眾，每個組件對于提供內容都至關重要。

1.Netflix架構：客戶端

客戶端架構是Netflix體驗的核心。這包括用戶用來訪問Netflix的各種設備，例如電腦、智能電視和智能手機。Netflix混合使用網絡界面和原生應用程序，以確保不同平臺的用戶體驗一致。無論采用什么樣的設備，這些客戶端都管理播放控制、用戶交互和界面呈現，以提供統一的體驗。由于客戶端架構的響應式優化，用戶可以輕松瀏覽廣泛的內容庫并享受連續的流媒體。

2.Netflix架構：后端

后端架構是Netflix幕后運營的支柱。用戶帳戶、內容目錄、推薦算法、計費系統和其他系統的管理由服務器、數據庫和微服務組成的復雜網絡完成。除了處理用戶數據和協調內容交付之外，后端還處理用戶請求。

此外，后端使用大數據分析和機器學習等最先進的技術優化內容交付和個性化推薦，從而提高用戶滿意度和參與度。

隨著時間的推移，Netflix的后端架構發生了重大變化。它于2007年轉向云計算基礎設施，并于2018年采用Spring Boot作為其主要Java框架。當與AWS提供的可擴展性和可靠性相結合時，像Ribbon、Eureka和Hystrix這樣的專有技術對于有效協調后端操作至關重要。

3.Netflix架構：內容交付網絡

內容交付網絡完成了Netflix架構的三位一體。內容交付網絡(CDN)是一個戰略性的全球服務器網絡，旨在以最佳的可靠性和最小的延遲向用戶交付內容。Netflix運營著一個名為Open Connect的內容交付網絡(CDN)。

它通過緩存和提供離用戶更近的網站上的素材，減少了緩沖，確保了視頻播放的流暢性。即使在高需求時期，Netflix也通過在全球眾多服務器上傳播內容來減少擁塞，并最大限度地提高帶寬利用率。這種去中心化的內容交付方式改善了全球觀眾的觀看體驗，也減少了緩沖時間，提高了流媒體質量。

四、客戶端組件

1.Web界面

在過去的幾年里，Netflix的Web界面發生了巨大的轉變，從Silverlight切換到HTML5，以傳輸優質視頻內容。有了這個更改，就不需要安裝和維護瀏覽器插件，這將簡化用戶體驗。自從推出HTML5視頻以來，Netflix已經提高了對各種在線瀏覽器和操作系統的兼容性，包括Chrome OS、Chrome、Internet Explorer、Safari、Opera、Firefox和Edge。

Netflix對HTML5的使用超越了簡單的播放。該平臺對采用HTML5表示歡迎，認為這是一個支持眾多行業標準和技術進步的機會。

2.移動應用程序

Netflix將其流媒體體驗擴展到智能手機和平板電腦，用戶是通過其移動應用程序實現的。這些應用程序保證用戶可以在旅途中訪問他們喜歡的內容。它們可以在多個平臺上使用，包括iOS和Android。通過結合本地開發和平臺特定優化，Netflix為各種移動設備提供了一個流暢且用戶友好的界面。

憑借個性化推薦、無縫播放和離線下載等功能，Netflix的移動應用程序滿足了觀眾不斷變化的需求。Netflix移動應用程序的用戶可以在開車、旅行或在家時觀看他們最喜歡的電視劇和電影。Netflix致力于通過頻繁的升級和改進，提供迷人而愉快的移動觀看體驗。

3.智能電視應用程序

Gibbon渲染層、用于動態更新的JavaScript應用程序和原生軟件開發工具包(SDK)組成了Netflix TV應用程序所基于的復雜架構。該應用程序通過使用React-Gibbon (React的自定義變體)保證了跨多個電視平臺的流暢用戶界面渲染和響應性。

優先考慮性能優化意味著關注每秒幀數和關鍵輸入響應性等指標。通過減少道具迭代和內聯組件創建等方法提高了渲染效率；通過樣式優化和定制組件開發進一步優化了性能。Netflix一直致力于為多個平臺的消費者提升電視應用體驗，培養了一種卓越的表現文化。

4.重放體驗：邁向現代化之旅

在過去的十年里，Netflix徹底改變了人們觀看和消費數字媒體的方式。但是，盡管這家流媒體巨頭定期發布尖端功能，但自從2013年以來，播放界面的視覺設計和用戶控制并沒有太大變化。在意識到回放用戶界面需要更新之后，網頁用戶界面（Web UI）團隊開始重新設計。

該團隊的三個主要用戶界面是預播放（Pre Play）、視頻播放（Video Playback）和播放后（Post Play）。他們的目標是提高客戶的滿意度和參與度。通過利用像React.js和Redux這樣的技術來加快開發和提高性能，Netflix徹底改變了其播放用戶界面。

五、Netflix架構：后端基礎設施

內容交付網絡(CDN)

Netflix的基礎設施依賴于其內容交付網絡(CDN)，也被稱為Netflix Open Connect，它允許內容輕松地交付給全球數以億計的觀眾。全球分布的CDN對于確保不同地點的客戶接收高質量的流媒體內容至關重要。

Netflix Open Connect的工作方式是，被稱為Open Connect設備（OCA）的服務器被戰略性地定位，以便它們靠近互聯網服務提供商（ISP）及其用戶。當內容交付達到高峰時，這種接近性可以減少網絡延遲并保證有效的性能。Netflix能夠最大限度地利用帶寬，并通過在ISP網絡中預先定位內容來減少對昂貴的骨干容量的依賴，從而提高整體流媒體體驗。

可擴展性是Netflix CDN的主要特點之一。Netflix在全球約1000個地點安裝了OCA，包括島嶼和亞馬遜雨林等偏遠地區，因此能夠滿足廣泛地理區域對流媒體服務不斷增長的需求。

此外，Netflix還向合格的ISP授予OCA，這樣他們就可以直接從自己的網絡中提供Netflix的內容。這一策略保證了用戶流媒體的改善，同時也節省了ISP的運營費用。Netflix通過提供本地化內容分發，與ISP建立了雙贏的關系，從而增強了流媒體生態系統。

六、視頻處理轉型：Netflix的微服務革命

通過實施微服務，Netflix改變了其視頻處理管道，實現了無與倫比的可擴展性和靈活性，以滿足工作室運營和會員流媒體的需求。隨著從單片平臺向基于微服務的平臺的轉變，進入了一個敏捷性和功能開發速度的新時代。

視頻處理工作流的每個步驟都由一個單獨的微服務表示，從而簡化了編排和解耦功能。總之，這些服務（從視頻檢查到復雜性分析和編碼）產生了適合工作室和流媒體用例的優秀視頻資產。微服務通過促進快速迭代和適應不斷變化的業務需求，產生了顯著的結果。

七、Netflix Open Connect的播放流程

采用Netflix的Open Connect的播放程序，全球客戶可以享受完美的觀看體驗。其功能如下：

（1）運行狀況報告：OCA定期向AWS云平臺中的緩存控制服務報告學習的路由、內容可用性和總體運行狀況。

（2）用戶請求：通過托管在AWS上的Netflix應用程序，客戶端設備上的用戶請求播放電視節目或電影。

（3）授權和文件選擇：在驗證用戶授權和許可之后，AWS播放應用程序服務選擇處理播放請求所需的精確文件。

（4）指導服務：AWS指導服務根據緩存控制服務保存的數據選擇從哪些OCA提供文件。回放應用程序服務在構建URL時從中接收這些OCA。

（5）內容分發：在客戶端設備上，播放應用服務發送相關OCA的URL。當請求的文件通過HTTP/HTTPS發送到客戶端設備時，所選的OCA開始為它們提供服務。

以下是演示回放過程的可視化表示：

八、Netflix架構中的數據庫

1.利用Amazon S3實現無縫媒體存儲

Netflix經受住了2022年4月21日AWS云計算服務中斷的考驗，這證明了其云計算基礎設施的價值，尤其是對亞馬遜S3數據存儲的依賴。Netflix的系統就是通過利用SimpleDB、S3和Cassandra等服務來承受這種中斷事件的。

Netflix的基礎設施是建立在使用Amazon S3(簡單存儲服務)進行媒體存儲的基礎上的，該服務為這家流媒體巨頭的大量電影、電視劇和原創內容提供了動力。為全球的Netflix用戶提供服務需要PB規模的數據，而Amazon S3是存儲這些數據的完美選擇，因為它提供了可擴展、可靠和高度可訪問的存儲服務。

導致Netflix選擇Amazon S3作為媒體存儲的另一個重要考慮因素是可擴展性。使用Amazon S3, Netflix可以輕松地擴展其存儲容量，而不必擔心隨著內容集合的增長而添加更多硬件或維護復雜的存儲基礎設施。為了在不犧牲用戶體驗或速度的情況下滿足對流媒體內容日益增長的需求，Netflix需要具備可擴展性。

2.采用NoSQL實現可擴展性和靈活性

在高度分布式的基礎設施中對結構化存儲訪問的需求推動了Netflix的數據庫選擇過程。Netflix公司在意識到傳統關系模型在互聯網規模運營背景下的不足之后，采用了向NoSQL分布式數據庫的范式轉換。在他們的數據庫生態系統中，有三個重要的NoSQL解決方案脫穎而出：Cassandra、Hadoop/HBase和SimpleDB。

（1）Amazon SimpleDB

隨著Netflix將業務遷移到AWS云平臺，Amazon SimpleDB顯然成為許多用例解決方案。它的吸引力在于其強大的查詢功能、跨可用性區域的自動復制和持久性。SimpleDB的托管解決方案降低了運營開銷，這符合Netflix利用云計算提供商的服務進行非差異化運營的政策。

（2）Apache HBase

Apache HBase是為基于Hadoop的系統開發的一種實用、高性能的解決方案。它的動態分區策略使得重新分配負載和創建集群變得更加容易，這對于處理Netflix不斷增長的數據量至關重要。Apache HBase強大的一致性架構通過對分布式計數器、范圍查詢和數據壓縮的支持得到增強，這使得它適用于各種用例。

（3）Apache Cassandra

開源NoSQL數據庫Apache Cassandra提供了性能、可擴展性和靈活性。其動態集群增長和水平可擴展性滿足了Netflix對無限規模的需求。由于其可適應的一致性、復制機制和靈活的數據模型，Apache Cassandra非常適合跨區域部署和擴展，而不會出現單點故障。

由于每種NoSQL工具都適合于特定的用例集，因此Netflix采用了許多工具。Cassandra擅長跨區域部署和容錯擴展，而HBase則自然地與Hadoop平臺對接。學習曲線和運營費用伴隨著Netflix長期云戰略的支柱，即采用NoSQL，但在可擴展性、可用性和性能方面的好處使其投資物有所值。

九、MySQL在Netflix的計費基礎設施的應用

作為向AWS云原生架構大規模遷移的一部分，Netflix的計費系統經歷了一次重大轉型。由于Netflix的運營嚴重依賴計費，因此向AWS的轉移經過了謹慎處理，以確保對會員體驗的影響盡可能小，并遵守嚴格的財務標準。

跟蹤計費周期、監控支付狀態以及向財務系統提供數據以進行報告，這些只是Netflix的計費基礎設施所要處理的部分任務。計費工程團隊管理了一個復雜的生態系統，其中包括批處理任務、API、與其他服務的連接器以及完成這些功能的數據管理。

數據庫技術的選擇是此次遷移中最重要的選擇之一。由于需要可擴展性和支付處理中對ACID事務的要求，選擇MySQL作為數據庫解決方案。

為了適應新的云架構，構建健壯的工具、優化代碼和刪除不必要的數據都是遷移過程的一部分。在傳輸當前成員數據之前，使用干凈的數據集進行了徹底的測試過程，使用代理和重定向器來處理流量重定向。

遷移到AWS云平臺上的MySQL是一個復雜的過程；它需要仔細的計劃，有條不紊的實施，以及持續的測試和迭代。盡管困難重重，但此舉進展順利，使Netflix得以將AWS云服務的可擴展性和可靠性用于其計費系統。

總之，將Netflix的計費系統切換到AWS上的MySQL涉及大量的工程工作和廣泛的影響。Netflix的系統架構已經更新了其計費系統，并使用基于云的解決方案，為即將到來的數字領域發展做好準備。

以下是Netflix遷移后的架構：

十、Netflix架構中的內容處理管道

Netflix內容處理管道是一種系統的方法，用于處理內容和實現合作伙伴提供的數字資產。三個主要階段是攝取、轉碼和打包。

1.攝取

在攝取階段，對音頻、定時文本或視頻等源文件的準確性和合規性進行徹底檢查。這些驗證包括語義信號域檢查、文件格式驗證、壓縮比特流的可解碼性、是否符合Netflix交付標準以及數據傳輸的完整性。

2.轉碼與打包

當源文件經過攝取階段后，將進行轉碼以產生輸出基本流。之后，這些流被加密并放置在準備分發的可流化容器中。

十一、使用Netflix的金絲雀模式確保無縫流媒體

由于客戶端應用程序是用戶與品牌互動的主要方式，因此對于全球數字產品來說，它們必須具有卓越的質量。在Netflix的系統架構中，大量的資金用于保證對更新的應用程序版本進行徹底的評估。然而，進行徹底的內部測試變得很困難，因為Netflix可以在數千臺設備上訪問，并且由數百個獨立部署的微服務提供支持。因此，在更新過程中獲得可靠的現場數據來支持發布決策是至關重要的。

為了加快對更新的客戶端應用程序的評估，Netflix的系統架構已經組建了一個專門的團隊來挖掘來自該領域的健康信號。由于該系統的投資，提高了應用程序的質量和開發過程，從而提高了開發速度。

（1）客戶端應用程序：Netflix升級其客戶端應用程序有兩種方式：通過直接下載和應用商店部署。直接下載增加了分發控制。

（2）部署策略：雖然客戶端應用程序定期增量發布的優勢是眾所周知的，但更新軟件存在一定的困難。由于每個用戶的設備都以流的形式傳輸數據，因此高效的信號采樣至關重要。Netflix采用的部署策略是定制的，以應對各種用戶設備和復雜微服務帶來的獨特挑戰。部署策略根據客戶的類型而有所不同，例如智能電視和移動應用程序。新的客戶端應用程序版本通過分階段部署逐步可用，這提供了及時的故障處理和智能后端服務擴展。在部署期間，密切關注客戶端錯誤率和采用率可以保證部署過程中的一致性和有效性。

（3）分階段部署：為了降低風險并明智地擴展后端服務，分階段部署需要逐步部署新的軟件版本。

（4）AB測試/客戶端金絲雀：Netflix采用了一種被稱為“客戶端金絲雀”的A/B測試的變體，它包括測試完整的應用程序，以確保在幾個小時內及時升級。

（5）編制：編制減少了與頻繁部署和分析相關的工作負載。這對于管理A/B測試和客戶端很有用。

總之，由于Netflix使用了客戶端金絲雀模式，客戶可以享受完美的流媒體體驗，這保證了應用程序的頻繁更新。

十二、Netflix架構圖

Netflix系統架構是一個復雜的生態系統，由Python和Java組成，后端服務由Spring Boot提供，數據處理和實時事件流由Apache Kafka和Flink提供。前端的Redux、React.js和HTML5提供了更好的用戶體驗。許多數據庫提供實時分析并處理大量媒體內容，包括Cassandra、HBase、SimpleDB、MySQL和Amazon S3。Jenkins和Spinnaker幫助持續集成和部署，AWS以可擴展性、可靠性和全球影響力為整個基礎設施提供動力。

Netflix致力于為其全球廣大觀眾提供完美的娛樂體驗，這些技術只占其龐大技術堆棧的一小部分，這一事實證明了這一點。

十三、Netflix架構總結

Netflix系統架構已經徹底改變了娛樂行業。在從DVD租賃服務到主要的全球流媒體播放器的演變過程中，Netflix的技術基礎設施對其成功至關重要。

由AWS云平臺支持的Netflix架構保證了全球用戶群不間斷的流媒體傳輸。Netflix通過其客戶端、后端和內容交付網絡（CDN）確保跨設備無故障的內容交付。

Netflix系統架構對HTML5的創新使用和個性化建議，提升了用戶體驗。

盡管在這一過程中遇到了一些障礙，但Netflix在轉向云原生設置后變得更加強大。在快速發展的在線娛樂領域，Netflix通過采用微服務、NoSQL數據庫和基于云的解決方案，為未來的發展和創新做好了準備。任何科技企業都可以從了解Netflix的系統中受益。

簡單地說，Netflix的系統架構旨在改變消費媒體的方式——這不僅僅是技術的問題。這種架構確保了當觀眾沉浸于觀賞樂趣時一切都能正常運行，并提升每個人的娛樂體驗。

原文標題：A Look Into Netflix System Architecture，作者：Rahul Shivalkar