1. 程式人生 > >打造獨立數據庫訪問的中間服務

打造獨立數據庫訪問的中間服務

key 升序 ase 回調 重新定義 map 連接 發布 etc

隨著公司業務的不斷變化,幾年前的 A 項目和底層 DB_A 數據庫華麗轉身為核心業務服務和核心數據庫。

想從 DB_A 數據庫獲取數據的 web 服務越來越多,項目之間的關系逐漸演變為下面這樣:

技術分享

很容易看出來按上圖這樣的發展趨勢會存在很多問題(項目關系為個人抽象出來的簡化版,實際情況比這要復雜的多)。

a. 當 webappA 運行過程中出現異常無法訪問,webappB/ webappC .... 還能正常獲取 DB_A 數據嗎?

b. 各種各樣的提供給 webappB/webappC ... 獲取 DB_A 數據的服務都集中在 webappA 中,webappA 的體積會無限水平擴張,誰都不喜歡贅肉對吧?

c. webappA 項目在運行過程中除了要正常提供自己的服務給用戶以外,還要兼顧其他項目獲取數據的請求,勢必會造成性能瓶頸。

其中的有些問題已經在項目上線推進中出現過,隔三差五停機維護變成響亮的巴掌扇到項目組的臉上確實也不好受。

題外話:按照目前互聯網的發展速度和各公司業務擴展,能準確預測項目兩年以內發展方向/並提前做好擴展的架構師,能力已經非常不錯。

項目組有人提出繞開項目 webappA ,其余的 webappB/webappC ...直接連接 DB_A 進行交互,但很快被否決了(每個項目數據庫訪問層你都要重新定義和編寫)。

能否將其中的數據庫訪問層獨立出來,做為服務容許授權的項目進行訪問?如下:

技術分享

核心想法是為無限增多的N個 wabapp 提供特定數據庫的訪問。這樣既避免了項目之間的耦合,也提高的數據訪問層的重用率。

想法已經有了,那就開幹吧,BB 解決不了問題。大概花了兩天時間進行搭建,填了無數坑,終於出落的和我預想中的一樣貼切。

原項目因商用無法開源,demo 經我重新組織已開源到:http://git.oschina.net/LanboEx/dao-service-demo。

需要這方面實踐的同學,clone 到本地跑起來一切也就明朗了。

1. 服務接口層

技術分享

需要 DB_A 數據項目依賴 dap-service-api 訪問 dao-service-impl 服務即可。

dao-service-api 為提供給外層的接口,最終的呈現方式為 jar, maven 項目直接依賴即可。

技術分享

如果存在老舊非 maven 項目,使用 maven-jar-plugin/maven-assembly-plugin 將所依賴的 jar 都裝配進去添加到項目 lib 裏面。

2. 服務實現層

dao-service-impl 由 cxf + spring + druid + jpa(hibernate impl) 開源類庫搭建而成的純後端組件服務。

技術分享

做為服務接口的實現層,最終呈現方式為 war,可進行集群或分布式部署,給其他項目提供服務。

目錄結構一目了然,上手開發速度很快,其中自己實現了簡易的代碼生成(GenCodeServlet),dao 層 + webService 層 接口和實現都可以自動生成。

webSevice 實現層註入 dao 層接口,針對單表封裝增刪改查5個方法,大體上不用寫多余的方法,避免編寫百分之 90 的 SQL 。

@WebService
@SOAPBinding(style = SOAPBinding.Style.RPC)
public interface UserWs {

    /**
     * 通過 ID 過去單個 User 實體對象
     * cxf 傳輸返回對象不可為null,Dao 層獲取為null時
     * 實例化返回空對象,判空時使用對象主鍵進行判斷即可
     *
     * @param id 主鍵ID
     */
    UserPO getUser(String id);

    /**
     * 通過類似的 PO 獲取多個 User 實體對象
     *
     * @param userPO 對照的實體對象
     */
    List<UserPO> listUser(UserPO userPO);

    /**
     * 通過類似的 PO 獲取多個 User 實體對象
     *
     * @param userPO  對照的實體對象
     * @param orderby 排序字段
     * @param asc     是否升序
     */
    List<UserPO> listUserOrdrBy(UserPO userPO, String orderby, Boolean asc);

    /**
     * 新增 User 實體對象
     *
     * @param userPO 要新增的對象
     */
    UserPO addUser(UserPO userPO);

    /**
     * 更新 User 實體對象
     *
     * @param userPO 要更新的對象
     */
    UserPO updateUser(UserPO userPO);
}

開發方式簡單粗暴,使用工具反向生成 hibernate 數據庫 po ,訪問 GenCodeServlet 生成 dao/ws 層接口和實現。

添加配置文件選項,發布 cxf webService 服務即可,估計5分鐘的時間都不要。

3. 服務調用方

發布的單表服務在調用方裏面理解為數據庫訪問層,在你項目規定的地方註入,進行耦合處理業務邏輯。

這個模塊存在的意義,相當於一個怎樣集成 cxf 發布的服務的 demo。

技術分享

a.調用方項目中已集成了 spring (依賴 dao-service-api)

    <jaxws:client id="UserWs" serviceClass="com.rambo.dsd.sys.ws.inter.UserWs"  address="${cxf.server.url}/UserWs">
        <jaxws:outInterceptors>
            <ref bean="wss4JOutInterceptor"/>
        </jaxws:outInterceptors>
    </jaxws:client>

具體的使用方式(在 spring 註入的前提下)

        Map<String, Object> map = new HashMap<>();
        UserWs userWs = (UserWs) SpringContextUtil.getBean("UserWs");
        UserPO user = userWs.getUser("031e7a36972e11e6acede16e8241c0fe");
        map.put("1.獲取單個用戶:", user);

        user.setPhone("18975468245");
        UserPO userPO1 = userWs.updateUser(user);
        map.put("2.更新單個用戶:", userPO1);

        UserPO userPO2 = new UserPO();
        userPO2.setName("rambo");
        userPO2.setPasswd(SecurityUtil.encryptMD5("123456"));
        userPO2.setSex("男");
        userPO2.setYxbz("Y");
        UserPO userPO3 = userWs.addUser(userPO2);
        map.put("3.新增單個用戶:", userPO3);

        UserPO userPO4 = new UserPO();
        userPO4.setSex("男");
        List<UserPO> userPOList = userWs.listUser(userPO4);
        map.put("4.獲取所有的男用戶:", userPOList);

        UserPO userPO5 = new UserPO();
        userPO5.setSex("男");
        List<UserPO> userPOList1 = userWs.listUserOrdrBy(userPO5, "sorts", true);
        map.put("5.獲取所有的男用戶並按照 sorts 字段排序:", userPOList1);
        return map;

b.調用方項目中未集成 spring (依賴 dao-service-api)

使用工具或者命令生成 cxf 服務客戶端,引入工廠模式在使用的地方獲取服務實例,進行耦合即可。

            UserWsImplService userWsImplService = new UserWsImplService(new URL(cxfServerUrl + "/UserWs?wsdl"));
            UserWs userWs = userWsImplService.getUserWsImplPort();
            addWSS4JOutInterceptor(userWs);

            UserPO user = userWs.getUser("031e7a36972e11e6acede16e8241c0fe");
            map.put("1.獲取單個用戶:", user);

            user.setPhone("18975468245");
            UserPO userPO1 = userWs.updateUser(user);
            map.put("2.更新單個用戶:", userPO1);

            UserPO userPO2 = new UserPO();
            userPO2.setUuid(StringUtil.getUUID());
            userPO2.setName("rambo");
            userPO2.setPasswd(SecurityUtil.encryptMD5("123456"));
            userPO2.setSex("男");
            userPO2.setYxbz("Y");
            UserPO userPO3 = userWs.addUser(userPO2);
            map.put("3.新增單個用戶:", userPO3);

            UserPO userPO4 = new UserPO();
            userPO4.setSex("男");
            UserPOArray userPOArray1 = userWs.listUser(userPO4);
            map.put("4.獲取所有的男用戶:", userPOArray1);

            UserPO userPO5 = new UserPO();
            userPO5.setSex("男");
            UserPOArray userPOArray2 = userWs.listUserOrdrBy(userPO5, "sorts", true);
            map.put("5.獲取所有的男用戶並按照 sorts 字段排序:", userPOArray2.getItem());

4. cxf 安全認證機制

cxf 采用 soap 通信協議,畢竟是對外發布出去的服務,安全性還是很重要。

安全認證引入 cxf ws-security wss4j 攔截器實現,soap 報文頭添加認證信息。

a.服務端配置

   <!--服務端安全認證回調函數-->
    <bean id="serverAuthCallback" class="com.rambo.dsd.base.handler.CXFServerAuthHandler"/>

    <!--安全日誌認證攔截器-->
    <bean id="wss4JInInterceptor" class="org.apache.cxf.ws.security.wss4j.WSS4JInInterceptor">
        <constructor-arg>
            <map>
                <entry key="action" value="UsernameToken"/>
                <entry key="passwordType" value="PasswordDigest"/>
                <entry key="passwordCallbackRef" value-ref="serverAuthCallback"/>
            </map>
        </constructor-arg>
    </bean>

服務端實現 javax.security.auth.callback.CallbackHandler 的安全回調函數:

public class CXFServerAuthHandler implements CallbackHandler {
    protected final static Logger log = LoggerFactory.getLogger(CXFServerAuthHandler.class);
    private static final Map<String, String> userMap = new HashMap<String, String>();

    static {
        userMap.put("webappA", "webappA2017");
        userMap.put("webappB", "webappB2017");
    }

    public void handle(Callback[] callbacks) throws IOException, UnsupportedCallbackException {
        for (Callback callback : callbacks) {
            WSPasswordCallback pc = (WSPasswordCallback) callback;

            String clientUsername = pc.getIdentifier();
            String serverPassword = userMap.get(clientUsername);
            log.info(" client:{} is starting webservice...", clientUsername);
            int usage = pc.getUsage();
            if (usage == WSPasswordCallback.USERNAME_TOKEN) {
                pc.setPassword(serverPassword);
            } else if (usage == WSPasswordCallback.SIGNATURE) {
                pc.setPassword(serverPassword);
            }
        }
    }
}

b.集成 Spring 的客戶端配置

    <!--客戶端安全認證回調函數-->
    <bean id="wsClientAuthHandler" class="com.rambo.dsc.handler.WsClientAuthHandler"/>

    <!--安全認證對外攔截器-->
    <bean id="wss4JOutInterceptor" class="org.apache.cxf.ws.security.wss4j.WSS4JOutInterceptor">
        <constructor-arg>
            <map>
                <entry key="action" value="UsernameToken"/>
                <entry key="user" value="webappA"/>
                <entry key="passwordType" value="PasswordDigest"/>
                <entry key="passwordCallbackRef" value-ref="wsClientAuthHandler"/>
            </map>
        </constructor-arg>
    </bean> 

註入的 webService 服務配置攔截器:

        <jaxws:outInterceptors>
            <ref bean="wss4JOutInterceptor"/>
        </jaxws:outInterceptors>

客戶端實現 javax.security.auth.callback.CallbackHandler 的安全回調函數:

public class WsClientAuthHandler implements CallbackHandler {

    public void handle(Callback[] callbacks) throws IOException, UnsupportedCallbackException {
        for (Callback callback : callbacks) {
            WSPasswordCallback pc = (WSPasswordCallback) callback;
            pc.setPassword("webappA2017");
        }
    }
}

c.未集成 Spring 的客戶端進行編碼

  private void addWSS4JOutInterceptor(Object wsClass) {
        Endpoint cxfEndpoint = ClientProxy.getClient(wsClass).getEndpoint();
        Map outProps = new HashMap();
        outProps.put(WSHandlerConstants.ACTION, WSHandlerConstants.USERNAME_TOKEN);
        outProps.put(WSHandlerConstants.USER,"webappA");
        outProps.put(WSHandlerConstants.MUST_UNDERSTAND, "0");
        outProps.put(WSHandlerConstants.PASSWORD_TYPE, "PasswordDigest");
        outProps.put(WSHandlerConstants.PW_CALLBACK_CLASS, WsClientAuthHandler.class.getName());
        cxfEndpoint.getOutInterceptors().add(new WSS4JOutInterceptor(outProps));
    }

項目中服務端安全認證使用的是 UsernameToken,cxf 支持認證方式/密碼類型還有很多,當然你也可以自定義安全認證方式。

4.結束語

互聯網公司服務架構是血液,是習慣,每家公司都有自己的套路和架構,細節有不同,但是核心理念是通的。

這次實踐有點微服務的感覺,但還遠遠不夠,如服務的註冊/路由/容錯/緩存.....很多很多,項目已開源到上面,有興趣一起完善它吧。

打造獨立數據庫訪問的中間服務