這兩天在做資料匯出，真實折磨死了，記錄下來。匯出的格式是csv。

由於我們的資料量比較大，匯出到excel時，幾百萬上千萬行的時候用程式去寫入肯定是不行，所以自然就想到了mysql的outfile功能，但是這個方面好像沒有匯出標題的功能，只能匯出資料，然後我就想先匯出資料，然後再在linux下將標題插入到檔案第一行，思路是沒問題，就是到來倒去，標題寫進去了，但是放到window下就亂碼了。

如果將資料從mysql匯出的時候，用utf8格式，在window下就亂碼，在linux下顯示正常，如果在mysql匯出時用gbk，那麼在linux下就亂碼，真的時候頭痛的問題。

我們肯定是要保證在window下用excel開啟正常，所以，匯出時用gbk。現在問題是如何將標題插入到檔案中去並且還能在window下開啟。

之前用正常的變數接收插入檔案，怎麼搞都亂碼，後來查到linux有個iconv命令，可以將檔案轉換為不同的格式，然後想到了一個折中的辦法。

就是將標題寫入一個臨時檔案，然後再將檔案轉換為gbk的格式檔案，然後再將轉換後的檔案內容取出放到一個變數，然後再將變數寫入匯出的資料檔案，問題終於解決。

下面是所有的程式碼：

mysql匯出：注意 

character set gbk

IF(p_pagesize>100000) THEN
    SET @exe_sql = CONCAT('select ',@grid_field,' INTO OUTFILE ''',p_file_name,'
 
.csv'' character set gbk FIELDS TERMINATED BY '','' ENCLOSED BY ''\"'' LINES TERMINATED BY ''\n'' ',@maintable,' ',@jointable,' ',@grid_whr,' ',@sort);
ELSE 
    SET @exe_sql = CONCAT('select ',@grid_field,' INTO OUTFILE ''',p_file_name,'.csv'' character set gbk FIELDS TERMINATED BY '','' ENCLOSED BY 
 
''\"'' LINES TERMINATED BY ''\n'' ',@maintable,' ',@jointable,' ',@grid_whr,' ',@sort, ' LIMIT ', @lmt, ',', `p_pagesize`,' ');
END IF;
-- select @exe_sql;
 PREPARE stmt FROM @exe_sql;
 EXECUTE stmt

linux下合併的程式碼：

#!/bin/sh
#LANG=latin1
#export LC_ALL=UTF-8
databaseName=$1
fileName=$2
headCol=$3
# sed -i '1i '${headCol} /home/dwgl/test3.csv
#echo ${headCol} > /home/dwgl/out.log
# linux default utf-8 format
echo ${headCol}>/home/dwgl/download/${fileName}_1.csv # UTF-8 format
# from utf-8 convert to gb18030
iconv -f utf-8 -t gb18030 /home/dwgl/download/${fileName}_1.csv > /home/dwgl/download/${fileName}_2.csv
# read first line to variable
headCol2=`sed -n '1p' /home/dwgl/download/${fileName}_2.csv`
# insert format head to outfile
mv /home/mysql/mysql_data/data/${databaseName}/${fileName}.csv /home/dwgl/download/
sed -i '1i '${headCol2} /home/dwgl/download/${fileName}.csv
tar -cvf /home/dwgl/download/${fileName}.tar /home/dwgl/download/${fileName}.csv
gzip /home/dwgl/download/${fileName}.tar
# mv ${fileName}.tar /home/dwgl/download/
rm -f /home/dwgl/download/${fileName}_*.csv