【多資料來源連線】-Spring整合Hbase、Impala、Orcale三種資料來源
阿新 • • 發佈：2018-11-02
專案中需要按需連線不同的資料來源，原專案預設為mysql連線，現在要新增Hbase、Impala、Orcale三種資料來源，以支援現有的查詢（屬於報表子系統）。 MySql、Orcale、Impala是關係型資料庫，可以用bean來配置連線池，方便、快捷的完成資料庫訪問。而Hbase屬於列儲存資料庫，是一個NoSQL資料庫，可儲存大量非關係型資料。我們這裡用phoenix來連線Hbase，它相當於一個Java中介軟體，幫助開發者，像使用jdbc訪問關係型資料庫一些，訪問NoSql資料庫HBase。參考phoenix的官方文件發現它屬於輕量級連線完全不需要連線池（官方參考地址： http://phoenix.apache.org/faq.html#Should_I_pool_Phoenix_JDBC_Connections）。
下面我們通過上面的方式分別連線下Orcale、Impala、Hbase這三個資料來源，MySql資料庫是直接整合了MyBatis，這裡不過多敘述。
1、Oracle資料連線池
<bean name="oracledataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close"> <!-- 資料來源驅動類可不寫，Druid預設會自動根據URL識別DriverClass --> <property name="driverClassName" value="${jdbc.oracleDriverClass}" /> <property name="url" value="${jdbc.oracleurl}" /> <property name="username" value="${jdbc.oracleusername}" /> <property name="password" value="${jdbc.oraclepassword}" /> <!-- 配置初始化大小、最小、最大 --> <property name="initialSize" value="${jdbc.initialSize}" /> <property name="minIdle" value="${jdbc.minIdle}" /> <property name="maxActive" value="${jdbc.maxActive}" /> <!-- 配置獲取連線等待超時的時間 --> <property name="maxWait" value="60000" /> <!-- 配置間隔多久才進行一次檢測，檢測需要關閉的空閒連線，單位是毫秒 --> <property name="timeBetweenEvictionRunsMillis" value="60000" /> <!-- 配置一個連線在池中最小生存的時間，單位是毫秒 --> <property name="minEvictableIdleTimeMillis" value="300000" /> <property name="validationQuery" value="SELECT 'x' FROM DUAL" /> <property name="testWhileIdle" value="true" /> <property name="testOnBorrow" value="false" /> <property name="testOnReturn" value="false" /> <!-- 開啟PSCache，並且指定每個連線上PSCache的大小 --> <property name="poolPreparedStatements" value="true" /> <property name="maxPoolPreparedStatementPerConnectionSize" value="20" /> <!-- 配置監控統計攔截的filters --> <property name="filters" value="stat" /> </bean>
2、Impala資料連線池
<bean id="impaldataSource" class="com.cloudera.impala.jdbc4.DataSource"> <property name="loginTimeout" value="30000"/> <property name="URL" value="${jdbc.impalurl}"/> <property name="userID" value="${jdbc.impalusername}"/> <property name="password" value="${jdbc.impalpassword}"/> </bean>
3、Hbase用phoenix工具做連線和普通的MySql連線一樣下面有案例供參考;
這裡把三個資料來源獲取連線的方法做了整合，具體程式碼如下：
package com.xxx.xxx;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.util.List;
import javax.sql.DataSource;
import org.apache.commons.dbutils.QueryRunner;
import org.apache.commons.dbutils.handlers.BeanHandler;
import org.apache.commons.dbutils.handlers.BeanListHandler;
import org.aspectj.lang.JoinPoint;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.jdbc.datasource.DataSourceUtils;
import com.alibaba.druid.pool.DruidDataSource;
import com.ymdd.galaxy.report.utils.system.Param;
public final class DataBaseHelper {
private static final Logger LOGGER = LoggerFactory.getLogger(DataBaseHelper.class);
//用可插入策略處理SQL查詢
private static final QueryRunner QUERY_RUNNER = new QueryRunner();
//不同的資料來源連線池的id
private static final String DATA_SOURCE_A = "oracledataSource";
private static final String DATA_SOURCE_B = "impaldataSource";
//Hbase的查詢工具phoenix的資料驅動
private static String HBASE_DRIVER = "org.apache.phoenix.queryserver.client.Driver";
//通過不同id獲取不同的連線池從而拿到資料庫連線
public static Connection getImpalaConn(){
Connection conn = null;
com.cloudera.impala.jdbc4.DataSource dataSource = (com.cloudera.impala.jdbc4.DataSource) ApplicationContextHelper.getBean(DATA_SOURCE_B);
conn = DataSourceUtils.getConnection(dataSource);
return conn;
}
public static Connection getOracleConn(){
Connection conn = null;
DruidDataSource dataSource = (DruidDataSource) ApplicationContextHelper.getBean(DATA_SOURCE_A);
conn = DataSourceUtils.getConnection(dataSource);
return conn;
}
//這裡沒用連線池直接用傳統的連線方式連線
public static Connection getHbaseConn() {
Connection con=null;
try {
Class.forName(HBASE_DRIVER);
con = DriverManager.getConnection(Param.HbaswUrl);
} catch (SQLException | ClassNotFoundException e) {
e.printStackTrace();
}
return con;
}
/**
* 關閉連線
* @param conn
*/
public static void closeConn(Connection conn){
if(conn!=null){
try {
conn.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
}
/**
* 關閉連線
* @param conn、dataSource
*/
public static void closeConn(Connection conn,DataSource dataSource){
if(conn!=null){
try {
conn.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
DataSourceUtils.releaseConnection(conn, dataSource);
}
/**
* 根據不同連線、查詢結果對映的實體類、sql、引數來查詢單個實體類的方法封裝
* @param conn、entityClass、sql、params
*/
private static <T> T aspectByBeanHanlder(Connection conn, Class<T> entityClass, String sql, Object... params) throws SQLException {
Long startTime = System.currentTimeMillis();
T entity = QUERY_RUNNER.query(conn,sql,new BeanHandler<T>(entityClass),params);
Long endTime = System.currentTimeMillis();
LOGGER.info("【執行查詢ByBeanHanlder-SQL總用時】: {}ms", (endTime - startTime));
return entity;
}
/**
* 根據不同連線、查詢結果對映的實體類、sql、引數來查詢實體類列表的方法封裝
* @param conn、entityClass、sql、params
*/
private static <T> List<T> aspectByBeanListHandler(Connection conn, Class<T> entityClass, String sql, Object... params)
throws SQLException {
Long startTime = System.currentTimeMillis();
List<T> entityList = QUERY_RUNNER.query(conn,sql,new BeanListHandler<T>(entityClass),params);
Long endTime = System.currentTimeMillis();
LOGGER.info("【執行查詢ByBeanListHandler-SQL總用時】: {}ms", (endTime - startTime));
return entityList;
}
/**
* 通用查詢實體列表
* @param entityClass
* @param sql
* @param params
* @param <T>
* @return
*/
public static <T> List<T> QueryEntityList( Connection conn,Class<T> entityClass , String sql, Object ...params ){
List<T> entityList = null;
if(conn==null) return entityList;
try {
entityList = aspectByBeanListHandler(conn, entityClass, sql, params);
} catch (Exception e) {
LOGGER.error("查詢失敗",e);
}finally {
closeConn(conn);
}
return entityList;
}
/**
* 通用查詢實體
* @param entityClass
* @param sql
* @param params
* @param <T>
* @return
*/
public static <T> T QueryEntity(Connection conn,Class<T> entityClass , String sql, Object ...params ){
T entity = null;
if(conn==null) return entity;
try {
entity = aspectByBeanHanlder(conn, entityClass, sql, params);
} catch (Exception e) {
LOGGER.error("查詢失敗",e);
}finally {
closeConn(conn);
}
return entity;
}
/**
* Impala查詢實體列表
* @param entityClass
* @param sql
* @param params
* @param <T>
* @return
*/
public static <T> List<T> QueryEntityList(Class<T> entityClass , String sql, Object ...params ){
List<T> entityList = null;
Connection conn = getImpalaConn();
if(conn==null) return entityList;
try {
entityList = aspectByBeanListHandler(conn, entityClass, sql, params);
} catch (Exception e) {
LOGGER.error("查詢失敗",e);
}finally {
closeConn(conn);
}
return entityList;
}
/**
* Impala查詢實體
* @param entityClass
* @param sql
* @param params
* @param <T>
* @return
*/
public static <T> T QueryEntity(Class<T> entityClass , String sql, Object ...params ){
T entity = null;
Connection conn = getImpalaConn();
if(conn==null) return entity;
try {
entity = aspectByBeanHanlder(conn, entityClass, sql, params);
} catch (Exception e) {
LOGGER.error("查詢失敗",e);
}finally {
closeConn(conn);
}
return entity;
}
/**
* Oracle查詢實體列表
* @param entityClass
* @param sql
* @param params
* @param <T>
* @return
*/
public static <T> List<T> QueryEntityListOracle(Class<T> entityClass , String sql, Object ...params ){
List<T> entityList = null;
Connection conn = getOracleConn();
if(conn==null) return entityList;
try {
entityList = aspectByBeanListHandler(conn, entityClass, sql, params);
} catch (Exception e) {
LOGGER.error("查詢失敗",e);
}finally {
closeConn(conn);
}
return entityList;
}
/**
* Oracle查詢實體
* @param entityClass
* @param sql
* @param params
* @param <T>
* @return
*/
public static <T> T QueryEntityOracle(Class<T> entityClass , String sql, Object ...params ){
T entity = null;
Connection conn = getOracleConn();
if(conn==null) return entity;
try {
entity = aspectByBeanHanlder(conn, entityClass, sql, params);
} catch (Exception e) {
LOGGER.error("查詢失敗",e);
}finally {
closeConn(conn);
}
return entity;
}
/**
* Hbase查詢實體
* @param entityClass
* @param sql
* @param params
* @param <T>
* @return
*/
public static <T> T QueryEntityHbase(Class<T> entityClass , String sql, Object ...params ){
T entity = null;
Connection conn = getHbaseConn();
if(conn==null) return entity;
try {
entity = aspectByBeanHanlder(conn, entityClass, sql, params);
} catch (Exception e) {
LOGGER.error("查詢失敗",e);
}finally {
closeConn(conn);
}
return entity;
}
/**
* Hbase查詢實體列表
* @param entityClass
* @param sql
* @param params
* @param <T>
* @return
*/
public static <T> List<T> QueryEntityListHbase(Class<T> entityClass , String sql, Object ...params ){
List<T> entityList = null;
Connection conn = getHbaseConn();
if(conn==null) return entityList;
try {
entityList = aspectByBeanListHandler(conn, entityClass, sql, params);
} catch (Exception e) {
LOGGER.error("查詢失敗",e);
}finally {
closeConn(conn);
}
return entityList;
}
}
有這個類之後，在程式碼裡可以直接通過寫sql的形式來完成對資料庫的查詢以及對映 ，具體用法如下：
以Hbase連線為例（上面類中的方法即可查詢到你想要的資料）：
CargoEntity assessmentMonthDayVo = DataBaseHelper.QueryEntityHbase(CargoEntity.class, sb.toString(), deptCode);
List<CargoEntity> assessmentDayRankList = DataBaseHelper.QueryEntityListHbase(CargoEntity.class, sb.toString(), deptCode);有問題歡迎留言，有遺漏或者該晒的地方還請大牛們多多指教！
