Oracle 快速將資料匯出到CSV(Excel)檔案的方法及效能比較
註釋:
工作中有需要將線上資料匯出到excel給客戶分析/檢視的情況,如下是方法介紹情況:
方法 | 1分鐘匯出的資料量 | 適用於 |
utl_file讀寫檔案包 | 300萬 | 大量匯出時 |
plsql developer->export query result | 10萬 | 小量匯出時 |
excel連線資料庫 | 1萬 | |
spool 迴圈列印 | 5000 |
--excel 最大行數1048576
方案一、利用SQL_TO_CSV匯出.csv檔案. --.csv逗號分隔值格式檔案,可用excel工具開啟,顯示格式和excel一樣..
1. 建立SQL_TO_CSV儲存過程如下:
CREATE OR REPLACE PROCEDURE SQL_TO_CSV
(
P_QUERY IN VARCHAR2, -- PLSQL文
P_DIR IN VARCHAR2, -- 匯出的檔案放置目錄
P_FILENAME IN VARCHAR2 -- CSV名
)
IS
L_OUTPUT UTL_FILE.FILE_TYPE;
L_THECURSOR INTEGER DEFAULT DBMS_SQL.OPEN_CURSOR;
L_COLUMNVALUE VARCHAR2(4000);
L_STATUS INTEGER;
L_COLCNT NUMBER := 0;
L_SEPARATOR VARCHAR2(1);
L_DESCTBL DBMS_SQL.DESC_TAB;
P_MAX_LINESIZE NUMBER := 32000;
BEGIN
--OPEN FILE
L_OUTPUT := UTL_FILE.FOPEN(P_DIR, P_FILENAME, 'W', P_MAX_LINESIZE);
--DEFINE DATE FORMAT
EXECUTE IMMEDIATE 'ALTER SESSION SET NLS_DATE_FORMAT=''YYYY-MM-DD HH24:MI:SS''';
--OPEN CURSOR
DBMS_SQL.PARSE(L_THECURSOR, P_QUERY, DBMS_SQL.NATIVE);
DBMS_SQL.DESCRIBE_COLUMNS(L_THECURSOR, L_COLCNT, L_DESCTBL);
--DUMP TABLE COLUMN NAME
FOR I IN 1 .. L_COLCNT LOOP
UTL_FILE.PUT(L_OUTPUT,L_SEPARATOR || '"' || L_DESCTBL(I).COL_NAME || '"'); --輸出表欄位
DBMS_SQL.DEFINE_COLUMN(L_THECURSOR, I, L_COLUMNVALUE, 4000);
L_SEPARATOR := ',';
END LOOP;
UTL_FILE.NEW_LINE(L_OUTPUT); --輸出表欄位
--EXECUTE THE QUERY STATEMENT
L_STATUS := DBMS_SQL.EXECUTE(L_THECURSOR);
--DUMP TABLE COLUMN VALUE
WHILE (DBMS_SQL.FETCH_ROWS(L_THECURSOR) > 0) LOOP
L_SEPARATOR := '';
FOR I IN 1 .. L_COLCNT LOOP
DBMS_SQL.COLUMN_VALUE(L_THECURSOR, I, L_COLUMNVALUE);
UTL_FILE.PUT(L_OUTPUT,
L_SEPARATOR || '"' ||
TRIM(BOTH ' ' FROM REPLACE(L_COLUMNVALUE, '"', '""')) || '"');
L_SEPARATOR := ',';
END LOOP;
UTL_FILE.NEW_LINE(L_OUTPUT);
END LOOP;
--CLOSE CURSOR
DBMS_SQL.CLOSE_CURSOR(L_THECURSOR);
--CLOSE FILE
UTL_FILE.FCLOSE(L_OUTPUT);
EXCEPTION
WHEN OTHERS THEN
RAISE;
END;
2、建立 directory目錄
create or replace directory OUT_PATH as '/expdp_dir';
3、拼接出匯出的語句
SELECT 'EXEC sql_to_csv(''select * from ' ||T.TABLE_NAME ||''',''OUT_PATH''' || ',''ODS_MDS.' || T.TABLE_NAME ||'.csv'');' FROM user_TABLES T where t.TABLE_NAME='表名'
4、執行匯出csv的語句
EXEC sql_to_csv('select * from A','OUT_PATH','ODS_MDS.A.csv');
成功完成 end!!
方案二、plsql developer->export query result;
查詢要匯出的資料(只查出部分資料即可,無需全部查詢出來) 再export query result ..匯出csv檔案(是全量).
方案三、excel連線資料庫匯出
(步驟:開啟excel->資料->匯入資料->第一步選擇資料來源->ODBC DSN->根據情況輸入連線資訊-->選表字段等)
方案四、spool 迴圈列印
sqlplus中輸入:
SQL>
set linesize 200
col 欄位 format a10
set term off verify off feedback off pagesize 5000
set markup html on entmap off spool on preformat off
spool &tarpath/{& table }.xls
lottery
/opt/
t_2
SQL > select * from t_2
***6.5w資料匯出excel是101M(1是會浪費空間,2是開啟也慢)
[[email protected] lottery]# du -sh \{t_2\}.xls
101M {t_2}.xls
[[email protected] lottery ]#