【51CTO.com原創稿件】NDC全稱Netease data canal，即網易數據運河，是一個平臺化的結構化數據傳輸系統，目的是解決結構化數據的實時遷移、同步、訂閱、OLTP到OLAP的實時數據整合等問題。我們希望能夠借此將數據庫中的數據與其他系統打通，從而構建一個能夠整合所有數據庫的“數據運河”，任何系統都能夠從“運河”中獲取數據。

此次由51CTO主辦的2017WOTA全球架構與運維技術峰會上，網易資深工程師馬進老師分享了主題為《網易數據傳輸服務NDC高可用實踐》的演講。

應用場景

從應用方視角看來，可以將NDC的應用場景分為三類：第一類是數據遷移，像DDB到Oracle這樣的異構數字遷移，同時可以解決DDB內部在線擴容問題和遷移問題。第二類數據同步，場景較為復雜一些，如跨域甚至跨國的數據實時同步，一般不強調異構，需要解決的是高延遲，復雜拓撲管理的問題。第三類數據訂閱，通過數據來驅動業務，實現業務間異步解耦。

最后，通過這些應用場景可以總結出NDC的兩個核心需求：第一，獲取數據庫實時變更的能力。第二，數據快速發布的能力。如MySQL到Oralce的數據遷移，需要增量遷移的速度要比MySQL線上增量更新快，否則相遷移或者同步永遠無法完成，這就考驗NDC數據發布的速度。另外一點，是需要NDC提供完善的高可用方案，允許數據重復，但是不能丟，還要提供一個不停服務的能力。