2. 程式人生 > >資料脫敏——基於Java自定義註解實現日誌欄位脫敏

資料脫敏——基於Java自定義註解實現日誌欄位脫敏

阿新 • • 發佈：2019-01-01



　　上文說了資料過敏主要有兩個思路：第一個就是在序列化實體之前先把需要脫敏的欄位進行處理，之後正常序列化；第二個就是在實體序列化的時候，對要脫敏的欄位進行處理。


脫敏實現思路

　　這裡探討第一種方法，用基於自定義註解的方式實現日誌脫敏。

　　要對資料進行脫敏，基本上都是對一些關鍵的、少數字段進行脫敏，比如某個實體中可能只對password這一個欄位進行脫敏處理，所以可以用自定義註解的方式，只需在需要脫敏的欄位上新增一個註解，比較方便。

　　整體思路如下圖：

這裡寫圖片描述

　　寫日誌時，序列化之前先把要列印的物件clone一份，然後找出新增脫敏自定義註解的欄位進行相應規則的處理轉化(比如把“劉德華”改為“劉*華)，然後再對物件進行序列化操作。

核心程式碼：

定義用於標識脫敏欄位的註解 Desensitized.java 

@Target({ElementType.FIELD, ElementType.METHOD})
@Retention(RetentionPolicy.RUNTIME)
@Inherited
@Documented
public @interface Desensitized {
    /*脫敏型別(規則)*/
    SensitiveTypeEnum type();
    /*判斷註解是否生效的方法*/
    String isEffictiveMethod() default "";
}

脫敏型別 SensitiveTypeEnum.java

public enum SensitiveTypeEnum {
    /** 中文名 */
    CHINESE_NAME,
    /** 身份證號 */
    ID_CARD,
    /** 座機號 */
    FIXED_PHONE,
    /** 手機號 */
    MOBILE_PHONE,
    /** 地址 */
    ADDRESS,
    /** 電子郵件 */
    EMAIL,
    /** 銀行卡 */
    BANK_CARD,
    /** 密碼 */
    PASSWORD;
}

實現脫敏處理類 DesensitizedUtils.java

public
 
 class DesensitizedUtils {

     /**
     * 獲取脫敏json串
     *
     * @param javaBean
     * @return
     */
    public static String getJson(Object javaBean) {
        String json = null;
        if (null != javaBean) {
            try {
                if (javaBean.getClass().isInterface()) return json;
                /* 克隆出一個實體進行欄位修改，避免修改原實體 */
                Object clone = ObjectUtils.deepClone(javaBean);

                /* 定義一個計數器，用於避免重複迴圈自定義物件型別的欄位 */
                Set<Integer> referenceCounter = new HashSet<Integer>();

                /* 對克隆實體進行脫敏操作 */
                DesensitizedUtils.replace(ObjectUtils.getAllFields(clone), clone, referenceCounter);

                /* 利用fastjson對脫敏後的克隆物件進行序列化 */
                json = JSON.toJSONString(clone, SerializerFeature.WriteMapNullValue, SerializerFeature.WriteNullListAsEmpty);

                /* 清空計數器 */
                referenceCounter.clear();
                referenceCounter = null;
            } catch (Throwable e) {
                e.printStackTrace();
            }
        }
        return json;
    }

    /**
     * 對需要脫敏的欄位進行轉化
     *
     * @param fields
     * @param javaBean
     * @param referenceCounter
     * @throws IllegalArgumentException
     * @throws IllegalAccessException
     */
    private static void replace(Field[] fields, Object javaBean, Set<Integer> referenceCounter) throws IllegalArgumentException, IllegalAccessException {
        if (null != fields && fields.length > 0) {
            for (Field field : fields) {
                field.setAccessible(true);
                if (null != field && null != javaBean) {
                    Object value = field.get(javaBean);
                    if (null != value) {
                        Class<?> type = value.getClass();
                        //處理子屬性，包括集合中的
                        if (type.isArray()) {//對陣列型別的欄位進行遞迴過濾
                            int len = Array.getLength(value);
                            for (int i = 0; i < len; i++) {
                                Object arrayObject = Array.get(value, i);
                                if (isNotGeneralType(arrayObject.getClass(), arrayObject, referenceCounter)) {
                                    replace(ObjectUtils.getAllFields(arrayObject), arrayObject, referenceCounter);
                                }
                            }
                        } else if (value instanceof Collection<?>) {//對集合型別的欄位進行遞迴過濾
                            Collection<?> c = (Collection<?>) value;
                            Iterator<?> it = c.iterator();
                            while (it.hasNext()) {
                                Object collectionObj = it.next();
                                if (isNotGeneralType(collectionObj.getClass(), collectionObj, referenceCounter)) {
                                    replace(ObjectUtils.getAllFields(collectionObj), collectionObj, referenceCounter);
                                }
                            }
                        } else if (value instanceof Map<?, ?>) {//對Map型別的欄位進行遞迴過濾
                            Map<?, ?> m = (Map<?, ?>) value;
                            Set<?> set = m.entrySet();
                            for (Object o : set) {
                                Map.Entry<?, ?> entry = (Map.Entry<?, ?>) o;
                                Object mapVal = entry.getValue();
                                if (isNotGeneralType(mapVal.getClass(), mapVal, referenceCounter)) {
                                    replace(ObjectUtils.getAllFields(mapVal), mapVal, referenceCounter);
                                }
                            }
                        } else if (value instanceof Enum<?>) {
                            continue;
                        }

                        /*除基礎型別、jdk型別的欄位之外，對其他型別的欄位進行遞迴過濾*/
                        else {
                            if (!type.isPrimitive()
                                    && type.getPackage() != null
                                    && !StringUtils.startsWith(type.getPackage().getName(), "javax.")
                                    && !StringUtils.startsWith(type.getPackage().getName(), "java.")
                                    && !StringUtils.startsWith(field.getType().getName(), "javax.")
                                    && !StringUtils.startsWith(field.getName(), "java.")
                                    && referenceCounter.add(value.hashCode())) {
                                replace(ObjectUtils.getAllFields(value), value, referenceCounter);
                            }
                        }
                    }

                    //脫敏操作
                    setNewValueForField(javaBean, field, value);

                }
            }
        }
    }

    /**
     * 脫敏操作（按照規則轉化需要脫敏的欄位並設定新值）
     * 目前只支援String型別的欄位，如需要其他型別如BigDecimal、Date等型別，可以新增
     *
     * @param javaBean
     * @param field
     * @param value
     * @throws IllegalAccessException
     */
    public static void setNewValueForField(Object javaBean, Field field, Object value) throws IllegalAccessException {
        //處理自身的屬性
        Desensitized annotation = field.getAnnotation(Desensitized.class);
        if (field.getType().equals(String.class) && null != annotation && executeIsEffictiveMethod(javaBean, annotation)) {
            String valueStr = (String) value;
            if (StringUtils.isNotBlank(valueStr)) {
                switch (annotation.type()) {
                    case CHINESE_NAME: {
                        field.set(javaBean, DesensitizedUtils.chineseName(valueStr));
                        break;
                    }
                    case ID_CARD: {
                        field.set(javaBean, DesensitizedUtils.idCardNum(valueStr));
                        break;
                    }
                    case FIXED_PHONE: {
                        field.set(javaBean, DesensitizedUtils.fixedPhone(valueStr));
                        break;
                    }
                    case MOBILE_PHONE: {
                        field.set(javaBean, DesensitizedUtils.mobilePhone(valueStr));
                        break;
                    }
                    case ADDRESS: {
                        field.set(javaBean, DesensitizedUtils.address(valueStr, 8));
                        break;
                    }
                    case EMAIL: {
                        field.set(javaBean, DesensitizedUtils.email(valueStr));
                        break;
                    }
                    case BANK_CARD: {
                        field.set(javaBean, DesensitizedUtils.bankCard(valueStr));
                        break;
                    }
                    case PASSWORD: {
                        field.set(javaBean, DesensitizedUtils.password(valueStr));
                        break;
                    }
                }
            }
        }
    }
}

脫敏測試物件 UserInfo.java

public class UserInfo{
    @Desensitized(type = SensitiveTypeEnum.CHINESE_NAME)
    private String realName;

    @Desensitized(type = SensitiveTypeEnum.ID_CARD)
    private String idCardNo;

    @Desensitized(type = SensitiveTypeEnum.MOBILE_PHONE)
    private String mobileNo;

    private String account;

    @Desensitized(type = SensitiveTypeEnum.PASSWORD, isEffictiveMethod = "isEffictiveMethod")
    private String password;

    //setter、getter略
}

測試：

@Test
public void testUserInfoDesensitize() {
    BaseUserInfo baseUserInfo = new BaseUserInfo()
                .setRealName("胡丹尼")
                .setIdCardNo("158199199013141120")
                .setMobileNo("13579246810")
                .setAccount("dannyhoo123456")
                .setPassword("123456")；
    System.out.println("脫敏前：" + JSON.toJSONString(baseUserInfo));
    System.out.println("脫敏後：" + DesensitizedUtils.getJson(baseUserInfo));
}

　　整個過程比較棘手的地方就是物件的克隆，實際場景中要列印的日誌物件格式千變萬化，物件的變數型別也很多，比如介面、列舉、集合、map、自定義型別等，在實現過程中也嘗試了多種方法來實現實體的深克隆，比如先序列化物件，再反序列化得到克隆後的物件，或者用第三方克隆工具類，都沒有很好地相容實際環境中的物件格式，上述原始碼中是小編自己按照現有需求、和出現了許多錯誤後一遍一遍修改來的，可能會有很多不合理的地方，時間緊迫，後面繼續優化。

　　針對整個實現的思路、實現方法，如果您有任何疑問和建議，歡迎交流討論。如果您有更好的方法，也希望您能夠分享下~

相關推薦

資料脫敏——基於Java自定義註解實現日誌欄位脫敏

　　上文說了資料過敏主要有兩個思路：第一個就是在序列化實體之前先把需要脫敏的欄位進行處理，之後正常序列化；第二個就是在實體序列化的時候，對要脫敏的欄位進行處理。 脫敏實現思路 　　這裡探討第一種方法，用基於自定義註解的方式實現日誌脫敏。 　　要對

Java自定義註解實現許可權管理

前言 原始碼 定義許可權註解 @Target(ElementType.METHOD) @Retention(RetentionPolicy.RUNTIME) public @inter

Spring AOP 自定義註解實現日誌管理

目錄 一、配置檔案 二、新建一個日誌實體類Log 三、編寫 service 層 四、編寫 service 層的實現 serviceimpl 五、自定義註解類 六、編寫切面類 七、spring + aop 需要的 jar 包 部落格的程式碼是基於 SSM 環境編寫的

spring-AOP+自定義註解實現日誌管理（註解方式實現）

一、場景 後臺管理系統中，管理員作業系統時生成日誌儲存在資料庫中。 二、實現 1、jar包依賴 <!-- https://mvnrepository.com/artifact/org.springframework/spring-aop --> <dependency&

《SpringBoot學習篇》（5）AOP+自定義註解實現日誌管理

用到的AOP註解：@Aspect  @Pointcut  @After 首先看一下如何呼叫自定義註解： @MyLog(module="老師模組", method="查詢全部") @RequestMapping("/all") public List

spring 自定義註解實現日誌統一處理

需求：通過註解的方式 統一處理controller和service的日誌（實現上可能不太嚴謹，主要是實現流程）原理：先自定義註解。用aop切面攔截方法的使用，看是否有對應的自定義的註解，如果有，在切面中進行日誌的統一列印，可以獲取到加了註解方法的類名、方法名、引數。如果想每個

自定義註解實現日誌管理

首先定義一個註解： @Retention(RetentionPolicy.RUNTIME) @Target({ElementType.METHOD}) @Documented public @interface LogAnnotation { //模組

spring boot 自定義註解過濾返回欄位

 在spring boot啟動類加上  (這裡不加貌似也可以生效) @Import(value = { ApplicationConfig.class }) @SpringBootApplication @EnableTransactionManagement @Mapp

自定義Json註解實現輸出日誌欄位脫敏

背景: 在日誌輸出的時候,有時會輸出一些使用者的敏感資訊,如手機號,身份證號,銀行卡號等,現需要對這些資訊在日誌輸出的時候進行脫敏處理 思路: 使用fastjson的ValueFilter對帶有自定義註解的欄位進行過濾 /** * 敏感資訊型別 * * @auth

Java自定義註解反射校驗數據

sda new out 格式 是否 本地 imp 使用範圍 數據類型 package com.annotations.ecargo; import java.lang.annotation.ElementType; import java.lang.annotati

java自定義註解

不包含 doc 1.2 color 子類 局部變量 ati 包含 ant Java註解是附加在代碼中的一些元信息，用於一些工具在編譯、運行時進行解析和使用，起到說明、配置的功能。註解不會也不能影響代碼的實際邏輯，僅僅起到輔助性的作用。包含在 java.lang.annot

java 自定義註解

tar 基本用法 而且 最簡 ida outline plain 現在 傳播 參考鏈接：https://blog.csdn.net/hbzyaxiu520/article/details/6212969 JAVA自定義註釋(Target,Retention,Document

Java 自定義註解&通過反射獲取類、方法、屬性上的註解

反射 JAVA中的反射是執行中的程式檢查自己和軟體執行環境的能力，它可以根據它發現的進行改變。通俗的講就是反射可以在執行時根據指定的類名獲得類的資訊。   註解的定義 註解通過 @interface 關鍵字進行定義。 /** * 自定義註解 *

Java自定義註解之元註解（meta-annotation）Target、Retention、Documented、Inherited介紹

元註解：   元註解的作用就是負責註解其他（如：自定義）註解，用來對其它 annotation型別作說明。Java定義了4個標準的meta-annotation型別： 　　　[email protected] 　　　[email protected

ssm springaop 自定義註解加日誌資料到資料庫

弄得過程中出現過好多問題。（報錯時候切入方法不正常執行，） 1、需要導的包：slf4j-log4j12-1.6.2.jar  slf4j-api-1.6.2.jar  （這兩個jar包版本最好保持一致，之前我使用不同版本報錯） aspectjweaver-1.6

Json過濾器（基於spring自定義註解的方式，對欄位進行過濾）

在實際的開發過程中，會經常遇到如下情景： 後臺需要給前端返回JSON資料,但是查詢出來返回的資料裡面有很多屬性是不需要的 本文通過自定義註解的方式進行實現，對response進行攔截，通過註解引數，設定欄位資訊（即，過濾哪些欄位，保留哪些欄位）,並將bean自動封裝

【java自定義註解2】java自定義註解結合Spring AOP

      承接上一篇，註解應用於屬性，本篇定義了一個用於方法的註解，結合Spring AOP 實現 切面程式設計。       以下demo演示使用了SpringBoot，與SSM中使用方式大致相同，效果如下： 1、自定義註解（用

【java自定義註解1】java自定義註解-屬性

        關於自定義註解，以前專案種應用的不多，最近看新專案過程中發現了挺多自定義註解相關內容，使用起來比較巧妙，於是 總結了兩種方式，記錄如下：         第一種：結合反射進行屬性注入，程式碼如下：

java 自定義註解驗證 （僅限於實體屬性值上的註解）

資源下載地址：http://download.csdn.net/detail/weilai_zhilu/9761533   該驗證主要包含三部分 註解驗證類 註解處理方法類 實體類 測試類 第一部分：註解驗證類（此部分暫時只寫了三個驗證類） 下面

java自定義註解解析及相關場景實現

註解（Annotation）是java1.5之後提供的一種語法。其主要作用是編譯檢查（比如@override）和程式碼分析（通過程式碼中添加註解，利用註解解析器對添加了註解的程式碼進行分析，獲取想要的結果，一般自定義的註解都是這一種功能）。 1.1 JDK提供的註解 JDK提供的