日前，由中國計算機學會(CCF)主辦，CCF大數據專家委員會承辦的2016中國大數據技術大會(BDTC2016)在北京新云南皇冠假日酒店隆重舉辦。北京觀數科技有限公司CEO李科作為演講嘉賓應邀參加了盛會，并分享了觀數科技在大數據安全領域的技術與經驗。

[[178980]]

對于大數據生態安全之前一直都是國外廠商在唱“獨角戲”，如Cloudera、Hortonworks等都為Hadoop生態提供了安全解決方案。伴隨大數據在國內的迅速發展，觀數科技憑借其安全行業豐富經驗，在進入該領域后，迅速成為國內首家大數據基礎框架安全解決方案提供商。觀數科技從事信息安全工作十余年，是新興的創業公司，目前正在進行Pre-A輪融資。

[[178981]]

中國版大數據“哨兵”

一直以來，國內的大數據方案提供商在搭建基礎架構的時候，多數采取使用國外Apache開源項目，如：Sentry、Ranger、Knox、Kerberos等。國內在此領域相對處于空白，這些優秀的項目當中卻沒有一個來自于中國，這讓作為信息安全工程師出身的觀數科技CEO李科有些不甘。他認為，首先用戶的可選擇余地很少，并且開源組件解決的基本是解決“點”的問題，很難全面的發揮協同作用，以點蓋面的解決問題并不能真正形成有效的方案。于是李科帶領自己的團隊開發出了一款獨立的大數據安全訪問控制產品BIG DAF，讓國內用戶在大數據平臺的搭建上多了一個選擇。

[[178982]]

BDCT2016會務組對產品給予了高度評價，從產品的方案構成和自主獨立性來看，產品有著很高的技術門檻與先進性，國內2014年以來才開始進入大數據行業真正的發展期，而經過兩年的建設，已經有許多行業領域的應用已經初具規模，而阻礙大數據發展的核心問題之一就是安全。日益嚴重的電信詐騙、個人隱私泄漏、以及行業數據被竊取，正在逼迫我國在該領域立法，制定相關的產業標準。而對這一標準的落地，觀數科技的BIG DAF率先走出了一步，在大數據安全這一空白領域，推出了真正自主來源的安全產品。

大數據安全的必要性

1、防的不是外網、內網，防的是風險

企業對于安全防護一般都重外網、輕內網，據IDC統計，企業受到外網攻擊風險比例遠高于內網，占比高達80%，但造成的損失卻低于占比20%的內網，不管是“網震”還是“火焰”，病毒都是屬于內網攻擊，由于“郵件門”錯失總統寶座的希拉里，也要“歸功”于內網攻擊。所以企業防護重要性不應分內、外網，應該根據企業實際業務風險進行安防。

2、護的不是在線、離線，是業務

應用、數據有些是需要實時處理與分析的，它們是動態的，如：日志實時處理。而有些則是靜態的，當需要時才會被使用。對于這種在線、離線狀況，安全防護不應分狀態，防護的應該是業務。

3、保的不是敏感與不敏感，是價值

企業大數據資產不僅產生速度快、容量龐大而且類別繁雜，其中包含許多敏感數據，而企業往往重視敏感數據的保護，忽視了其他數據的價值。但是，大數據價值不僅體現在其原始數據的價值，更體現在分析后的價值，而分析后的價值則是由這些敏感、非敏感數據綜合分析出來的，任何一塊數據的缺失、破壞都會降低其分析后的價值，因此“完整性”則是非敏感數據的保護要點。

大數據基礎框架安全現狀

無論是Hadoop、還是Spark生態，在設計之初并未考慮其安全問題，以至于發展至今，他們一直遺留著Linux的安全隱患。每一天都有大量的數據、用戶和應用在加入這個日益壯大的集群中來。如何讓終端用戶在現存的大數據基礎架構下，保證數據訪問和BI應用程序的充分安全，一直是安全管理員和監察人員揮之不去的困擾。

這些安全問題如：

1、存在root權限過大，可以對資源進行任意修改(Change Permissions、Change Owner);

2、沒有安全模型，不對用戶或服務進行驗證，也沒有數據隱私。因此在分布式的設備集群上任何人都能提交代碼并執行;

3、MapReduce沒有認證或授權的概念，某個頑劣的用戶可能為了讓自己的任務更快完成而降低其他Hadoop任務的優先級，甚至直接殺掉其他任務;

4、惡意開發人員能輕易假冒其他用戶，比如寫一個新的TaskTracker并將其注冊為Hadoop服務，或者冒充HDFS或MapReduce用戶，把HDFS里的東西全刪掉等等;

5、DataNode沒有訪問控制，惡意用戶可以繞過訪問控制從DataNode中讀取任意數據塊，或將垃圾數據寫到DataNode中破壞目標分析數據的完整性;

對于運營商、金融、政府、醫療保健和其它對敏感數據的訪問有嚴格監管的行業的使用，則提出了更加全面的安全要求：

1、周邊安全：確認用戶身份，確保集群訪問的安全。

2、數據安全：確保集群中的數據不會被非法訪問，包括已存儲的數據和傳輸中的數據。

3、訪問安全：通過文件系統ACL和細粒度授權，定義授權用戶和應用程序對集群數據的權限。

4、可見性：通過審計報告出數據源和數據的用法。

李科介紹， BIG DAF是一款綜合權限控制產品，目前已經對HDFS、MapReduce、Yarn、HBase進行了支持，并且還支持內存計算框架Spark。

其原理如下：

DAF控制器是該方案的核心，其作用位置在客戶端與大數據服務端之間，DAF控制器能夠識別來自各種客戶端的OP指令，并起到透明代理的作用，對于OP指令集的研究，除了Hadoop本身的WebHDFS協議以外，還支持流式的RPC協議。

DAF本身有基于OP指令集的ACL，這套ACL有別于Hadoop原生的權限體制，除了讀寫執行這種基本權限，還增加了更多的權限，并且將用戶驗證納入到DAF當中，接管了Hadoop自身的用戶列表，因此設置用戶可以在安全的環境下進行。

在識別兩端的同時，ACL主要包括：角色、用戶、數據、指令。有了ACL的控制，DAF控制器就可以準確的識別客戶端的指令是否合規。在DAF的基礎上實現了訪問控制、訪問監控、訪問審計。

BIG DAF是一款基于大數據基礎框架的網關形式訪問控制器，可兼容Kerberos。其未修改Hadoop、Spark生態源碼，兼容各種原生及商業發行版，實現了大數據的周邊安全、數據安全、訪問安全、可見性，且BIG DAF為獨立體系，無法從Hadoop、Spark生態上配置BIG DAF的安全策略，重要的一點是BIG DAF并不轉發流量，ACL與審計只針對主客體訪問行為，幾乎沒有性能消耗。

未來BIG DAF的發展方向將不局限于Hadoop本身，而是定位于大數據組件的安全解決方案，在產品方向上，將圍繞常用的大數據生態組件進行支持，李科表示：“觀數科技定位是一家高科技企業，我們的優勢是在大數據領域的核心技術研究，并非只限于Hadoop”。

目前，BIG DAF是唯一一款通過公安部檢測并頒發信息安全專業產品銷售許可證的Hadoop安全防護產品，并且已經在一些政府大數據平臺進行使用。另外，BIG DAF正積極與國內知名云廠商合作，針對在線大數據平臺推出PAAS平臺的大數據安全組件。

觀數科技的BIG DAF在大數據安全這一空白領域，推出了真正自主來源的安全產品，它也將推動大數據技術在更多行業、組織和終端用戶的使用，同時為管理員提供靈活、安全的管理平臺。相信隨著大數據技術的成熟，未來將有更多的國產品牌加入這個大生態中。