大數據是今年的熱門，以至于紐約時報等媒體均宣稱大數據時代已經來臨。挖掘大數據可以產出洞察力以及利用大數據進行知情決策和行動所需的激勵和架構。而挖掘這些金礦的礦工，就是數據科學家，所以這種礦工也被冠以未來最性感職業的稱號。但是，今天任何一篇有關大數據的文章***都不可避免地得出這樣一個結論，即數據科學家嚴重短缺。麥肯錫 2011 年被熱議的一項調查就指出，許多組織普遍缺乏這類熟練技能的人才。

但是如何繞開這一瓶頸，讓大數據直接為商業***所用卻很少有人討論。軟件產業此前已經做過這樣的事情，現在我們還可以再效仿。

為了實現這一目標，首先必須理解數據科學家在大數據中的角色。目前，大數據就是類似于類似 Hadoop、NoSQL、Hive 以及 R 那樣的分布式數據架構和工具的一個大熔爐。在這種高技術環境下，數據科學家充當了這些系統和業務側領域專家之間信息傳遞者與中介。

總的來說數據科學家有三個主要角色：數據架構、機器學習以及分析。雖然這些角色都很重要，但是并非所有的公司都需要像 Google 和 Facebook 那樣擁有一支高度專業的數據團隊。只要能開發出與目的相符的產品，并讓技術的復雜性盡可能的低，那么大數據的威力就可以直接交到業務用戶手上。

作為例子，我們可以回顧一下世紀之交的 web 內容管理革命。網站曾風靡一時，但領域專家卻屢屢碰壁，因為 IT 是瓶頸。每每有新內容添加時都需要進行編排，有時候甚至需要 IT 精英硬編碼進去。這個問題后來是如何解決掉的？我們把這些基本需求概括并抽象進內容管理系統之中，然后讓它們簡單到連不懂技術的人也懂使用。瓶頸于是被打破了。

接下來，我們以網上貿易為背景分別看看數據科學家的這三種角色。

數據架構

降低復雜性的關鍵是限制范圍。幾乎所有的電商都關心用戶行為的捕捉—活動、購物、離線交易以及社會化數據，幾乎每一個電商也都會有產品目錄和客戶檔案。

只要把范圍限制到這一基本功能上，就可以為標準數據輸入創建模板，從而大大簡化數據捕捉與管道連接。在 2/8 原則下（80% 的大數據用例可利用 20% 的技術實現），我們不需要把所有不同的數據架構和工具（Hadoop、Hbase、 Hive、Pig、Cassandra 以及 Mahout）都打包進來。

機器學習

好吧，數據架構似乎可以用系統搞定，機器學習總得要人來調教吧。如果需求是高度定制化的話，也許數據科學家是必要的。這里面的很多事情都可以抽象出來，像推薦引擎和個性化系統等。比方說，數據科學家的很大一部分工作是做出“特征”模式，即把輸入數據組合好，讓機器有效學習。過程差不多就是數據科學家把數據擺弄好然后塞進機器，再按一下“啟動”即可，數據科學家的工作只是需要幫助機器以一種有意義的方式來審視這個世界。

可是如果按照單個領域來看，特征創建也是可以模板化的。比方說，每個電子商務網站都有購買流和用戶細分的概念。如果領域專家可以直接將其思路編碼進系統，將領域體現到系統里面去，那么數據科學家這個翻譯和中介是不是就可以省掉了？

分析

從數據當中自動分析出最有價值的東西從來都不是一件易事。但是提供針對單個領域的透視鏡是有可能的—這可以讓業務專家做試驗，就像數據科學家那樣。這似乎是一個最容易解決的問題，因為市場上早已經有了各種特定領域的分析產品。

但是這些產品對于領域專家來說約束太多，不易接近。界面友好性絕對還有改進的空間。我們還需要考慮機器如何從分析得出的結果中學習。這是關鍵的反饋環路，業務專家希望能修改這個環路。這又是一個提供模板化界面的機會。

正如 CMS 領域的情況一樣，這些解決方案也不能包治百病。但是針對泛化的一組數據問題采用技術解決方案可以緩解數據科學家的瓶頸問題。一旦領域專家能夠直接跟機器學習系統協作，我們就能夠進入大數據的新時代—一個人和機器可以相互學習的新世紀。也許到了那個時候，大數據能解決的問題就能多于它制造的問題了。

原文鏈接：http://gigaom.com/2012/12/22/we-dont-need-more-data-scientists-just-simpler-ways-to-use-big-data/

【編輯推薦】