汽車之家敏感數據治理實踐
隨著大數據時代的到來,信息安全問題備受關注,用戶對于個人隱私保護的要求越來越高。汽車之家作為國內最大的汽車垂直門戶網站之一,一直致力于用戶敏感數據保護。本文介紹,汽車之家通過研發”加解密中間件-AutoProxy”,實現敏感數據透明加解密,完成大量的歷史存量及新增敏感數據的脫敏治理,更安全的保護用戶信息。
1. 敏感數據治理背景
1.1數據安全及合規需求
數據安全事故時有發生,國家近年出臺了《網絡安全法》,《個人信息保護法》,《GB/T 35273 個人信息安全規范》,《關于開展互聯網行業市場秩序專項整治行動的通知》等多部數據安全法律、法規進行個人信息保護。
圖片
1.2數據脫敏方法
- 數據脫敏步驟
數據脫敏:敏感數據脫敏寫入/讀取需要經過如下步驟, 敏感數據識別→敏感數據脫敏→密文存儲→解密讀取。
圖片
- 數據脫敏方案
依脫敏模塊的位置不同,可分成三種情況:1. 應用層加解密SDK脫敏 2.中間層(API/Porxy)脫敏 3.數據庫原生脫敏。其中“中間層脫敏”可以分成API脫敏,Proxy脫敏 兩種子類; 而數據庫原生脫敏需依賴于數據庫本身的特性和函數,本文不做討論。
圖片
- 數據脫敏方案對比
對常見的脫敏方案從接入成本、維護成本、支持語言、SQL兼容性、性能等維度進行對比。
圖片
2. 之家數據脫敏現狀與挑戰
2.1之家有大量數據需要脫敏
汽車之家作為國內最大的汽車垂直門戶網站,存有大量的的存量及新增敏感數據如身份證號,手機號等用戶信息等,需要脫敏(明文加密)存儲。最近三年,之家敏感數據字段新增一直是增長趨勢, 2022年涉及敏感數據的數據表列達到了1W列。
圖片
2.2之家傳統脫敏方法
為實現數據脫敏,之家提供自研API加解密接口來實現數據的脫敏。API脫敏方法如下圖所示。
圖片
2.3API脫敏問題與挑戰
傳統API脫敏是有侵入性,不能兼容SQL語法,數據脫敏成本較高的缺點。之家有大量的存量及新增敏感數據(要脫敏的敏感字段列>1W),因為安全合規需要在較短限期完成加密處理,繁重的工作量及成本是個挑戰。
圖片
3. 基于加解密中間件的數據脫敏實踐
為了解決上節提到的傳統API數據脫敏有侵入性,成本高的痛點問題。之家研發了基于加解密中間件“AutoProxy”的透明數據脫敏。本節主要內容如下:
圖片
3.1面向應用透明的中間件脫敏
透明加解密是指在不影響應用程序的正常運行情況下,自動對數據進行加密和解密,不需要應用程序編寫額外的加解密代碼。透明加解密技術用于敏感數據脫敏可以對應用代碼無侵入,避免傳統API數據脫敏有侵入性,成本高的痛點。
圖片
3.2數據脫敏方案選型
為了節約研發成本,我們計劃選擇一款開源軟件進行"二次開發"來滿足之家透明脫敏的需求。數據脫敏選型需要考慮的因素有脫敏功能、穩定性、運維成本、改造成本、生態情況等。
之家DBA團隊調研/測試業界開源的脫敏工具,最終決定用Sharding-Proxy進行二開來實現數據脫敏,Sharding-Proxy是透明化的數據庫代理,可支持自定義加解密算法,正滿足之家脫敏需求。
3.3之家脫敏系統架構圖
圖片
3.4自定義加密算法
之家脫敏中間件"AutoProxy"支持MD5、AES、RC4、SM3/SM4等加密算法,同時支持自定義加解密算法。事實上為了原來的API脫敏兼容,AutoProxy使用了和原來API脫敏完全相同的自定義加密算法。
圖片
3.5功能及性能測試
新產品上線前需要進行功能測試、性能測試、兼容性測試。經性能測試對比,之家中間件"AutoProxy"脫敏的性能較原來的API加密性能提升2倍。
圖片
3.6之家脫敏自動化平臺建設
?3.6.1 脫敏平臺建設涉及工作
脫敏自動化平臺化建設:主要涉及脫敏組件的安裝布署、高可用、數據脫敏處理、工單申請等,目前這些工作都已實現自動化,提升工作效率及服務質量。
圖片
?3.6.2 脫敏平臺部分界面
圖片
圖片
3.7存量敏感數據脫敏
全新數據表的脫敏比較簡單,僅需要直接接入脫敏中間件”AutoProxy“就可。存量歷史數據脫敏,業務方常希望中間件可以在“不影響正常業務,即原敏感表可正常讀寫的情況下完成明文敏感數據脫敏”。存量敏感數據脫敏相對較復雜,下面做一簡單步驟描述。
?存量敏感數據脫敏步驟:
- 給需要脫敏的字段,增加密文列。
- 研發申請脫敏中間件
- 業務修改DB后端地址為脫敏中間件地址(注意:此時新增數據會通過中間件的脫敏功能自動加密敏感數據,并存在相應的密文列)
- 通過工具對歷史敏感數據全部刷新 (此時表中同時存在敏感明文列和密文列)
- 脫敏中間件切換到使用密文列模式 6.原明文敏感數據列刪除。
3.8中間件AutoProxy脫敏成績
"中間件-AutoProxy"實現了面向應用的透明數據脫敏,減輕了數據脫敏工作量。數據脫敏不再需要研發人員去修改業務代碼,取而代之的僅需修改DB地址為脫敏中間件地址,并提相應的脫敏自動化工單。利用AutoProxy的助力,22年之家完成了近1W張敏感數據表的脫敏,實現了之家敏感信息全部密文存儲,更安全的保護了之家用戶信息。
4. 結語
本文介紹了敏感數據脫敏背景及常見技術。重點對汽車之家敏感數據治理實踐進行闡述:之家原來使用API脫敏,存在脫敏成本較高的缺點。為此之家數據庫團隊新研發“脫敏中間件-AutoProxy”來進行數據脫敏。AutoProxy具有面向透明化數據脫敏,SQL語法兼容、支持自定義加密、性能優良等優點,利用AutoProxy的助力,22年之家完成了近1W張敏感數據表的脫敏。
未來之家將繼續進行“脫敏系統平臺”建設,在敏感數據表自動化識別,AutoProxy容器化等方向進行嘗試。
作者簡介
圖片
陶會祥
■ 云平臺部-云平臺部-技術保障團隊-數據庫組
■ 2020 年加入汽車之家,C端及中臺產研中心-云平臺部,負責之家數據庫/緩存的運維及RDS產品研發工作,致力于為公司提供安全,穩定,可靠的數據庫/緩存服務。