毋庸置疑，迪士尼是一個巨大的娛樂公司，但是當它涉及到大數據平臺，這位娛樂巨頭看起來更像是一個初創(chuàng)公司。很多小公司，依靠堅強的意志和不凡的智慧，憑借一個小小的團隊，使用Hadoop、NoSQL數據庫和其他開源技術，完全能夠創(chuàng)造出一個特有的大數據平臺。無論結果是更好或者更壞，這樣的大公司在進軍大數據領域，意味著這是一種完全不同規(guī)則的“玩法”。

迪斯尼大數據技術和服務解決方案團隊的負責人Arun Jacob，在上周四的波士頓的IE集團大數據創(chuàng)新峰會上，介紹了迪斯尼的大數據平臺。不像其他的公司，迪斯尼選擇打造大數據平臺是從零開始，絕對不是從一個軟件供應商那里購買軟件。雖然高昂的成本是一個很重要的因素，但是最關鍵的還是靈活性的問題，這是作出最終決定的根本原因。

減量化，重復利用，再循環(huán)

為了保證給公司帶來***的價值，迪士尼大數據平臺，凝結了每個員工的心血，它是每個人的一切，這是一項艱巨的任務。最初的時候，Jacob表示，“我們把我們自己當做是一個小型的咨詢機構，僅僅是我們有東西要賣。”不過當一個部門想要使用該平臺開發(fā)一個特定功能的時候，Jacob立刻行動了起來。

從架構上來說，通過這個平臺和具有特定目的的組件，它能夠對路徑數據進行重構，或者說能夠非常容易地替換組件，如果有更好的話。迪士尼大數據平臺是基于Hadoop，Cassandra和MongoDB進行開發(fā)的。運營團隊可以使用該平臺來進行查看、分析和索引的錯誤消息，應用程序開發(fā)人員可以得到他們需要的高吞吐量，低延遲的數據訪問，而分析團隊有他們需要的高延遲數據的訪問。

然而，盡管Jacob也想使用一套開源軟件來降低成本，他確實有資本可以奢侈一下，這是大多數創(chuàng)業(yè)公司玩不起的——外包和不定期的新產品的預算。當他需要Hadoop集群的支持，他完全可以打電話給Cloudera。當需要部署Solandra(基于Solr和Cassandra的一個開放的源代碼搜索引擎)，他完全可以購買的企業(yè)版的DataStax基于Cassandra的產品，但是他沒有這么做。

靈活性是不是免費的

Solandra的事件，實際上是為了權衡是不是需要使用免費的開源軟件。“你可以為開源項目工作到深夜，你可以通過學習來運行它們，但是這沒有任何任何意義。”Jacob表示，如果你愿意投入時間和精力，這些東西是完全可以克服的。

然而迪士尼這種規(guī)模的公司，有更多的問題必須要被克服。Jacob表示，在部署的過程中，雖然可以按自己的方式來解決容錯、高可用性和安全性的問題，但是最終還是需要找出一種方式來實現這些東西。

適合大眾的才是***的

雖然可以把系統(tǒng)建立在所有的人都能夠使用的開源軟件上，不過這也意味著沒有一個足夠的框架來構建一個可擴展的和穩(wěn)定的系統(tǒng)，而且該系統(tǒng)還必須滿足成千上萬的各種類型和各種水平的內部開發(fā)人員的需求。Jacob表示，對一個擁有六個人的創(chuàng)業(yè)公司來說，大家學習Hadoop的一個月，然后開始使用它進行部署大數據平臺，這是非常容易實現的。但是對于一個大企業(yè)來說，這絕對是不可行的。

他的團隊讓部署變得容易

為了消除企業(yè)用戶不能加載他們的數據到系統(tǒng)中的借口，他們只需要把文件以指向用戶定制的界面。Jacob表示，迪士尼的數據平臺，雖然以每天5TB的數據劇增，但是仍然有很多其他類型的數據需要存儲。因為他們已經對技術進行了封裝，Jacob的團隊并沒有談及過多關于Hadoop和MongoDB的問題，僅僅是提及了分析和查詢的部分。數據平臺使用很多種的編程語言來構建客戶端的框架結構，所以開發(fā)者可以跟平臺進行交互，就無需編寫REST風格的API調用。

不過，在做足了所有的準備工作之后，Jacob開始把精力投入在迪士尼的大數據平臺之上，Jacob不希望這是一個其他數據平臺過程的重復。隨著大數據管理的工具也越來越好，Jacob表示，他現在依然在分析，是構建一個新的工具還購買一個工具，目前還有時間來做出改變。當沒有選擇余地的時候，構建一個自定義工具固然是一個不錯的選擇，但它并不總是明智的做法，而購買現成的東西可以節(jié)約無數的時間和精力。#p#

如果你想更多有關迪士尼的大數據平臺的技術細節(jié)，你可以點擊下載最近Jacob在Cassandra峰會上演示的一個PDF文檔，不過令人遺憾的是目前鏈接已經刪除，因考慮到資料的保密性，下文僅僅是節(jié)選了PDF中的部分內容，希望對大家有所幫助：

大數據在迪斯尼扮演的角色:

數據管理平臺：

數據管理平臺目標：

收集，搜索，分析應用數據：

使用案例的演化：

推薦引擎：

后記：迪士尼全稱為The Walt Disney Company，取名自其創(chuàng)始人華特·迪士尼，是總部設在美國伯班克的大型跨國公司，主要業(yè)務包括娛樂節(jié)目制作，主題公園，玩具，圖書，電子游戲和傳媒網絡。皮克斯動畫工作室(PIXAR Animation Studio)，驚奇漫畫公司(Marvel Entertainment Inc)，試金石電影公司(Touchstone Pictures)，米拉麥克斯(Miramax)電影公司，博偉影視公司(Buena Vista Home Entertainment)，好萊塢電影公司(Hollywood Pictures)，ESPN體育，美國廣播公司(ABC)都是其旗下的公司(品牌)。

今天由于文章需要，動手查詢了一下迪士尼的資料，內心也是無比的震撼，大多數人想到迪士尼，也許就是一個拍動畫片的公司，多想一點的話，可能就是香港的迪士尼樂園，相信大家看到好萊塢電影公司的時候，內心就會強烈的震動一下。隨著云計算的大潮到來，大數據也變得炙手可熱，作為云計算領域最重要的組成部分之一，大數據越來越受到關注，今天迪士尼也玩起了“跨界”，開始進軍大數據領域。不過云計算和電影業(yè)其實早早的就聯系在一起，曾獲奧斯卡提名的皮克斯電影公司出品的3D電影《玩具總動員3》，畫質真實細膩，歸功于云計算。而中國觀眾所熟悉的《功夫熊貓2》的擁有者——夢工廠，2003年就已經開始邁向云計算。云計算為很多影視作品提供了制作、存儲和處理平臺，對于提供制作這些影片所需要的計算資源起到了關鍵性的作用。我們也期待迪士尼在新的平臺上能夠大放異彩。