背景與目標

在資料倉庫建設過程中，資料安全扮演著重要角色，因為隱私或敏感資料的洩露，會對資料主體（客戶，員工和公司）的財產、名譽、人身安全、以及合法利益造成嚴重損害。因此我們需要嚴格控制對倉庫中的資料訪問，即什麼樣的人員或者需求才可以訪問到相關的資料。這就要求對資料本身的敏感程度進行安全級別劃分。資料有了安全等級的劃分，才能更好管理對資料訪問控制，以此來保護好資料安全。
舉個例子簡單的說明下，例如我們倉庫中有一張關於註冊使用者的基本資訊表User，其中有手機號mobile，暱稱username兩個欄位。我們在劃分資料安全層級的時，將使用者mobile的安全等級劃分為L2要高於username的等級L1，並規定只有訪問許可權達到L2的運營部門才能訪問mobile欄位。這樣在公司各個部門需要訪問註冊使用者基本資訊表User時，我們只需檢查訪問者是否來自運營部門，如果是運營部可以訪問mobile，如果不是隻能訪問username資訊了。這樣就有效的防止使用者手機號被不相關工作人員洩露出去，同時也不影響查詢使用者username的需求。
但是往往在實際生產過程中，應用場景會更加複雜，僅靠類似這樣的訪問控制，滿足不了生產的需要，還需要結合其它的途徑，而資料脫敏就是一種有效的方式，既能滿足日常生產的需要，又能保護資料安全。
資料脫敏，具體指對某些敏感資訊通過脫敏規則進行資料的變形，實現敏感隱私資料的可靠保護。這樣可以使資料本身的安全等級降級，就可以在開發、測試和其它非生產環境以及外包或雲端計算環境中安全地使用脫敏後的真實資料集。藉助資料脫敏技術，遮蔽敏感資訊，並使遮蔽的資訊保留其原始資料格式和屬性，以確保應用程式可在使用脫敏資料的開發與測試過程中正常執行。

敏感資料梳理

在資料脫敏進行之前，我們首先要確定哪些資料要作為脫敏的目標。我們根據美團特有的業務場景和資料安全級別劃分（絕密、高保密、保密、可公開，四個級別）， 主要從“高保密”等級的敏感資料，開始進行梳理。
這裡我們把敏感資料分成四個維度進行梳理，使用者、商家、終端、公司。

1. 從使用者維度進行梳理可能有這些敏感欄位如下：手機號碼、郵件地址、賬號、地址、固定電話號碼等資訊（此外個人隱私資料相關還有如：種族、政治觀點、宗教信仰、基因等）
2. 從商家維度進行梳理：合同簽訂人，合同簽訂人電話等（不排除全域性敏感資料：如商家團購品類等）
3. 從使用者終端維度進行梳理：能夠可能標識終端的唯一性欄位，如裝置id。
4. 從公司角度進行梳理：交易金額、代金卷密碼、充值碼等

確定脫敏處理方法

梳理出了敏感資料欄位，我們接下來的工作就是如何根據特定的應用場景對敏感欄位實施具體的脫敏處理方法。
常見的處理方法如下幾種有：

1. 替換：如統一將女性使用者名稱替換為F，這種方法更像“障眼法”，對內部人員可以完全保持資訊完整性，但易破解。
2. 重排：序號12345重排為54321，按照一定的順序進行打亂，很像“替換”， 可以在需要時方便還原資訊，但同樣易破解。
3. 加密：編號12345加密為23456，安全程度取決於採用哪種加密演算法，一般根據實際情況而定。
4. 截斷：13811001111截斷為138，捨棄必要資訊來保證資料的模糊性，是比較常用的脫敏方法，但往往對生產不夠友好。
5. 掩碼: 123456 -> 1xxxx6，保留了部分資訊，並且保證了資訊的長度不變性，對資訊持有者更易辨別， 如火車票上得身份資訊。
6. 日期偏移取整：20130520 12:30:45 -> 20130520 12:00:00，捨棄精度來保證原始資料的安全性，一般此種方法可以保護資料的時間分佈密度。

但不管哪種手段都要基於不同的應用場景，遵循下面兩個原則：
1．remain meaningful for application logic(儘可能的為脫敏後的應用,保留脫敏前的有意義資訊)
2．sufficiently treated to avoid reverse engineer(最大程度上防止黑客進行破解)
以這次脫敏一個需求為例：
美團一般的業務場景是這樣的，使用者在網站上付款一筆團購單之後，我們會將團購密碼，發到使用者對應的手機號上。這個過程中，從使用者的角度來看團購密碼在未被使用者消費之前，對使用者來說是要保密的，不能被公開的，其次美團使用者的手機號也是要保密的，因為公開之後可能被推送一些垃圾資訊，或者更嚴重的危害。從公司內部資料分析人員來看，他們有時雖然沒有許可權知道使用者團購密碼，但是他們想分析公司傳送的團購密碼數量情況，這是安全允許；再有資料分析人員雖然沒有許可權知道使用者具體的手機號碼，但是他們需要統計美團使用者手機的地區分佈情況，或者運營商分佈差異，進而為更上層的決策提供支援。
根據這樣的需求，我們可以對團購密碼做加密處理保證其唯一性，也保留其原有的資料格式，在保密的同時不影響資料分析的需求。同樣，我們將使用者的手機號碼的前7位，關於運營商和地區位置資訊保留，後四位進行模糊化處理。這樣同樣也達到了保護和不影響統計的需求。

因此從實際出發遵循上面的兩個處理原則，第一階段我們在脫敏工具集中，確定瞭如下4種基本型別的脫敏方案（對應4個udf）：

確定實施範圍與步驟

通過上面欄位的梳理和脫敏方案的制定，我們對美團資料倉庫中涉及到得敏感欄位的表進行脫敏處理。在資料倉庫分層理論中，資料脫敏往往發生在上層，最直接的是在對外開放這一層面上。在實際應用中，我們既要參考分層理論，又要從美團現有資料倉庫生產環境的體系出發，主要在資料維度層（dim），以及基礎服務資料層（fact）上實施脫敏。這樣，我們可以在下游相關資料報表以及衍生資料層的開發過程中使用脫敏後的資料，從而避免出現數據安全問題。
確認處理的表和欄位後，我們還要確保相關上下游流程的正常執行, 以及未脫敏的敏感資訊的正常產出與儲存（通過更嚴格的安全稽核來進行訪問）。
以使用者資訊表user為例，脫敏步驟如下：
1．首先生產一份ndm_user未脫敏資料，用於未脫敏資料的正常產出。
2．對下游涉及的所有依賴user生產流程進行修改，來確保脫敏後的正常執行，這裡主要是確認資料格式，以及資料來源的工作。
3．根據對應的脫敏方法對user表中對應的欄位進行脫敏處理。

總結

通過上面的幾個步驟的實施，我們完成了第一階段的資料脫敏工作。在資料脫敏方案設計與實施過程中， 我們覺得更重要的還是從特定的應用場景出發進行整體設計，兼顧了資料倉庫建設這一重要考量維度。資料脫敏實施為公司資料安全的推進，提供了有力支援。當然，我們第一階段脫敏的工具集還相對較少，需要補充。 脫敏的技術架構還有待完善和更加自動化。
本文關於資料安全和資料訪問隔離的控制闡述較少，希望通過以後的生產實踐，繼續為大家介紹。

參考

參考文獻如下：