成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

汽車之家敏感數據治理實踐

大數據 數據分析
"中間件-AutoProxy"實現了面向應用的透明數據脫敏,減輕了數據脫敏工作量。數據脫敏不再需要研發人員去修改業務代碼,取而代之的僅需修改DB地址為脫敏中間件地址,并提相應的脫敏自動化工單。

隨著大數據時代的到來,信息安全問題備受關注,用戶對于個人隱私保護的要求越來越高。汽車之家作為國內最大的汽車垂直門戶網站之一,一直致力于用戶敏感數據保護。本文介紹,汽車之家通過研發”加解密中間件-AutoProxy”,實現敏感數據透明加解密,完成大量的歷史存量及新增敏感數據的脫敏治理,更安全的保護用戶信息。

1. 敏感數據治理背景

1.1數據安全及合規需求

數據安全事故時有發生,國家近年出臺了《網絡安全法》,《個人信息保護法》,《GB/T 35273 個人信息安全規范》,《關于開展互聯網行業市場秩序專項整治行動的通知》等多部數據安全法律、法規進行個人信息保護。

圖片圖片

1.2數據脫敏方法

  • 數據脫敏步驟

數據脫敏:敏感數據脫敏寫入/讀取需要經過如下步驟, 敏感數據識別→敏感數據脫敏→密文存儲→解密讀取。

圖片圖片

  • 數據脫敏方案

依脫敏模塊的位置不同,可分成三種情況:1. 應用層加解密SDK脫敏 2.中間層(API/Porxy)脫敏 3.數據庫原生脫敏。其中“中間層脫敏”可以分成API脫敏,Proxy脫敏 兩種子類; 而數據庫原生脫敏需依賴于數據庫本身的特性和函數,本文不做討論。

圖片圖片

  • 數據脫敏方案對比

對常見的脫敏方案從接入成本、維護成本、支持語言、SQL兼容性、性能等維度進行對比。

圖片圖片

2. 之家數據脫敏現狀與挑戰

2.1之家有大量數據需要脫敏

汽車之家作為國內最大的汽車垂直門戶網站,存有大量的的存量及新增敏感數據如身份證號,手機號等用戶信息等,需要脫敏(明文加密)存儲。最近三年,之家敏感數據字段新增一直是增長趨勢, 2022年涉及敏感數據的數據表列達到了1W列。

圖片圖片

2.2之家傳統脫敏方法

為實現數據脫敏,之家提供自研API加解密接口來實現數據的脫敏。API脫敏方法如下圖所示。

圖片圖片

2.3API脫敏問題與挑戰

傳統API脫敏是有侵入性,不能兼容SQL語法,數據脫敏成本較高的缺點。之家有大量的存量及新增敏感數據(要脫敏的敏感字段列>1W),因為安全合規需要在較短限期完成加密處理,繁重的工作量及成本是個挑戰。

圖片圖片

3. 基于加解密中間件的數據脫敏實踐

為了解決上節提到的傳統API數據脫敏有侵入性,成本高的痛點問題。之家研發了基于加解密中間件“AutoProxy”的透明數據脫敏。本節主要內容如下:

圖片圖片

3.1面向應用透明的中間件脫敏

透明加解密是指在不影響應用程序的正常運行情況下,自動對數據進行加密和解密,不需要應用程序編寫額外的加解密代碼。透明加解密技術用于敏感數據脫敏可以對應用代碼無侵入,避免傳統API數據脫敏有侵入性,成本高的痛點。

圖片圖片

3.2數據脫敏方案選型

為了節約研發成本,我們計劃選擇一款開源軟件進行"二次開發"來滿足之家透明脫敏的需求。數據脫敏選型需要考慮的因素有脫敏功能、穩定性、運維成本、改造成本、生態情況等。

圖片

之家DBA團隊調研/測試業界開源的脫敏工具,最終決定用Sharding-Proxy進行二開來實現數據脫敏,Sharding-Proxy是透明化的數據庫代理,可支持自定義加解密算法,正滿足之家脫敏需求。

3.3之家脫敏系統架構圖

圖片圖片

3.4自定義加密算法

之家脫敏中間件"AutoProxy"支持MD5、AES、RC4、SM3/SM4等加密算法,同時支持自定義加解密算法。事實上為了原來的API脫敏兼容,AutoProxy使用了和原來API脫敏完全相同的自定義加密算法。

圖片圖片

3.5功能及性能測試

新產品上線前需要進行功能測試、性能測試、兼容性測試。經性能測試對比,之家中間件"AutoProxy"脫敏的性能較原來的API加密性能提升2倍。

圖片圖片

3.6之家脫敏自動化平臺建設

?3.6.1 脫敏平臺建設涉及工作

脫敏自動化平臺化建設:主要涉及脫敏組件的安裝布署、高可用、數據脫敏處理、工單申請等,目前這些工作都已實現自動化,提升工作效率及服務質量。

圖片圖片

?3.6.2 脫敏平臺部分界面

圖片圖片

圖片圖片

3.7存量敏感數據脫敏

全新數據表的脫敏比較簡單,僅需要直接接入脫敏中間件”AutoProxy“就可。存量歷史數據脫敏,業務方常希望中間件可以在“不影響正常業務,即原敏感表可正常讀寫的情況下完成明文敏感數據脫敏”。存量敏感數據脫敏相對較復雜,下面做一簡單步驟描述。

?存量敏感數據脫敏步驟:

  • 給需要脫敏的字段,增加密文列。
  • 研發申請脫敏中間件
  • 業務修改DB后端地址為脫敏中間件地址(注意:此時新增數據會通過中間件的脫敏功能自動加密敏感數據,并存在相應的密文列)
  • 通過工具對歷史敏感數據全部刷新 (此時表中同時存在敏感明文列和密文列)
  • 脫敏中間件切換到使用密文列模式 6.原明文敏感數據列刪除。

3.8中間件AutoProxy脫敏成績

"中間件-AutoProxy"實現了面向應用的透明數據脫敏,減輕了數據脫敏工作量。數據脫敏不再需要研發人員去修改業務代碼,取而代之的僅需修改DB地址為脫敏中間件地址,并提相應的脫敏自動化工單。利用AutoProxy的助力,22年之家完成了近1W張敏感數據表的脫敏,實現了之家敏感信息全部密文存儲,更安全的保護了之家用戶信息。

4. 結語

本文介紹了敏感數據脫敏背景及常見技術。重點對汽車之家敏感數據治理實踐進行闡述:之家原來使用API脫敏,存在脫敏成本較高的缺點。為此之家數據庫團隊新研發“脫敏中間件-AutoProxy”來進行數據脫敏。AutoProxy具有面向透明化數據脫敏,SQL語法兼容、支持自定義加密、性能優良等優點,利用AutoProxy的助力,22年之家完成了近1W張敏感數據表的脫敏。

未來之家將繼續進行“脫敏系統平臺”建設,在敏感數據表自動化識別,AutoProxy容器化等方向進行嘗試。

作者簡介

圖片圖片

陶會祥

■ 云平臺部-云平臺部-技術保障團隊-數據庫組

■ 2020 年加入汽車之家,C端及中臺產研中心-云平臺部,負責之家數據庫/緩存的運維及RDS產品研發工作,致力于為公司提供安全,穩定,可靠的數據庫/緩存服務。

責任編輯:武曉燕 來源: 之家技術
相關推薦

2023-10-30 15:35:05

數據安全數據驅動

2023-07-20 15:46:24

2021-03-23 14:34:25

敏感數據云安全漏洞

2021-03-19 11:13:07

SaaS云平臺

2023-07-24 09:03:38

汽車之家頁面性能監控

2010-09-25 08:55:29

2023-10-23 10:39:05

2023-04-28 07:41:38

Unity前端架構

2020-10-25 09:04:46

數據加密數據泄露攻擊

2023-02-01 18:08:55

應用數據庫TiDB

2021-09-16 10:11:15

Dataphin 數據保護

2020-04-16 08:00:00

Ansible Vau敏感數據加密

2024-03-05 09:40:35

2021-10-28 09:42:38

代碼編碼開發

2011-08-01 14:36:06

加密RSA

2024-01-01 15:53:25

2012-04-12 14:45:12

賽門鐵克云南電網

2020-12-20 17:30:17

數據匿名化敏感數據數據庫

2025-01-21 14:48:39

2022-08-11 16:47:32

Mach-OAPP
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 亚洲精品3 | 精品一区二区三区四区在线 | 91婷婷韩国欧美一区二区 | 亚洲人人 | 亚洲国产成人精品女人久久久 | 国产精品自拍视频 | 欧美日韩成人在线 | 一区二区三区在线免费观看 | 福利片在线 | 一区二视频| 久久精品av麻豆的观看方式 | 欧美黑人一级爽快片淫片高清 | 中文字幕在线视频观看 | 亚洲免费一| 日韩成人在线看 | 久久精品欧美一区二区三区麻豆 | heyzo在线| www.亚洲精品 | 欧美二区在线 | 国产综合一区二区 | 成人亚洲精品久久久久软件 | 九九久久久 | 欧美性大战xxxxx久久久 | 国产精品久久久久久福利一牛影视 | 国产精品美女久久久久久免费 | 精品一区二区电影 | 成人国产精品久久久 | 亚洲成人一区二区三区 | 一区二区电影 | 日韩免费高清视频 | 性高朝久久久久久久3小时 av一区二区三区四区 | 亚洲一区二区三区在线视频 | 日本a∨精品中文字幕在线 亚洲91视频 | 草草视频在线播放 | 国产精品a久久久久 | 黄色片视频网站 | 国产一区二区在线免费观看 | 奇米影视77 | 久久综合久色欧美综合狠狠 | 国产精品亚洲视频 | 国产一区二区在线播放视频 |