LinkedIn三人小組離職創立Confluent:基于Kafka實時信息列隊系統
LinkedIn有個三人小組出來創業了—正是當時開發出Apache Kafka實時信息列隊技術的團隊成員,基于這項技術Jay Kreps帶頭創立了新公司Confluent,致力于為各行各業的公司提供實時數處理服務解決方案,其他兩位成員是Neha Narkhede和Jun Rao。該公司已獲Benchmark、LinkedIn、Data Collective 690萬美金融資。
Kreps將Kafka描述為LinkedIn的“中樞神經系統”,管理從各個應用程序匯聚到此的信息流,這些數據經過處理后再被分發到各處。
不同于傳統的企業信息列隊系統,Kafka是以近乎實時的方式處理流經一個公司的所有數據,目前已經為LinkedIn, Netflix, Uber和Verizon建立了實時信息處理平臺。Confluent的愿景便是讓其他公司也能用上這種平臺。Confluent已經向Kafka用戶了解了他們的使用模型?,F在還沒有產品出來,但這些實踐足以啟示Confluent應當打造何種產品。
Kreps承認,他最初也懷疑那些非網絡公司是否會對Kafka這樣的技術感興趣,但當他看到金融服務和電信行業對這項技術的廣泛采用后,Kreps改變了自己的看法。今年三月,去拜訪了一家叫做Synapse Wireless的公司,這家公司使用Kafka來支持一套傳感器網絡系統,用于追蹤醫院工作人員的衛生習慣。
因此他認為需求是絕對存在的,Confluent的優勢就在于近乎實時性。Kreps認為,基于Kafka信息處理技術建立一家公司,總比基于像Apache Storm這樣的開源流處理技術建立一家公司要靠譜,因為信息列隊是先進數據處理架構的更基本的組成部分。
他還記得剛加入LinkedIn那會兒,網站只有批處理系統,后來有了流處理系統后每個人都別提多開心了。再后來,他們意識到LinkedIn并沒有支持這一系統的架構。
“當今大多數公司之所以與佼佼者存在差距,是因為他們幾乎不能實時任何獲取數據。”一旦公司找到最對路的技術堆棧,它們就有望建立物聯網或者其它基于傳感器的應用程序,再或者是從許多渠道抓取大量數據進入后端系統的其他業務。
“這實際上是開辟了全新的應用場景,”Kreps說道,“而且是不這么辦就沒法真正打開的場景。”