臨下班前有個需求，有個同事有一份excel資料需要匯入到hive中，到手後發現需要匯入的excel檔案有5個，且每個excel有60個sheet，每個sheet檔案是頂行的，由於檔案是xls格式的，單excel檔案資料量大概在390萬左右，且sheet表有的有標題，有的是空行，且有的sheet要解析有的不要。

           直接用poi解析xls格式形式進行解析，結果在new HSSFWorkbook(inputStream)這一步對輸入檔案流進行裝載的時候發生記憶體問題（java.lang.OutOfMemoryError:Javaheapspace (堆記憶體溢位) java.lang.OutOfMemoryError:GCoverheadlimitexceeded (當垃圾回收器釋放空間佔用較多時間時丟擲)）無法進行下部解析，嘗試轉為xlsx格式，同樣發生類似的問題。        

           在網上檢視大資料量解析excel博文，發現excel2007以上版有OPCPackage包能進行解析，理是根據行號範圍批量將內容加入到記憶體中非一次性加入，這樣就解決了記憶體不足的問題。但是，嘗試了幾篇網上的例子均不能原執行成功，因為那哥們這件事挺急需要第二天給智博會演示相關資料，也就沒在這種方法上繼續進行嘗試，轉而尋求更快捷方式，將單個檔案的sheet數降為10個(資料量在六十幾萬)，這樣再搭配多執行緒就完美匯出檔案了，再上傳到hdfs上驗證結束。

         所需依賴包:      

<dependency>
	<groupId>org.apache.poi</groupId>
	<artifactId>poi</artifactId>
	<version>3.9</version>
</dependency>
<dependency>
	<groupId>org.apache.poi</groupId>
	<artifactId>poi-excelant</artifactId>
	<version>3.9</version>
</dependency>
<dependency>
	<groupId>org.apache.poi</groupId>
	<artifactId>poi-ooxml</artifactId>
	<version>3.9</version>
</dependency>
<dependency>
	<groupId>org.apache.poi</groupId>
	<artifactId>poi-ooxml-schemas</artifactId>
	<version>3.9</version>
</dependency>
<dependency>
	<groupId>org.apache.poi</groupId>
	<artifactId>poi-scratchpad</artifactId>
	<version>3.9</version>
</dependency>
 

   解析檔案：

package com.ali.scheduler.util;

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

import org.apache.poi.hssf.usermodel.HSSFCell;
import org.apache.poi.hssf.usermodel.HSSFRow;
import org.apache.poi.hssf.usermodel.HSSFSheet;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.xssf.usermodel.XSSFCell;
import org.apache.poi.xssf.usermodel.XSSFRow;
import org.apache.poi.xssf.usermodel.XSSFSheet;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;

public class ReadExcel {

	private static SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
	
    public static void  main(String[] args) throws IOException {
    	
    	ExecutorService fixedThreadPool = Executors.newFixedThreadPool(3);
    	final List<File> files = getFileList("D:/阿里-拆分表/");
    	 Date date = new Date();
         System.out.println("startdate-->"+sdf.format(date));
         long startTime = date.getTime();
    	  for (int i = 0; i < files.size(); i++) {
	    	   final int index = i;
	    	   fixedThreadPool.execute(new Runnable() {
	    	    public void run() {
		    	     try {
		    	    	 parseExcel(files.get(index).getAbsolutePath());
		    	     } catch (Exception e) {
		    	         System.err.println("["+files.get(index)+"]檔案處理異常!\n"+e.getMessage());
		    	     }
	    	    }
	    	   });
	    	    try {
				    Thread.sleep(1000);
				} catch (InterruptedException e) {
					e.printStackTrace();
				}
    	   }
    	  fixedThreadPool.shutdown();
    	  while (true) {//等待所有任務都執行結束
    		  if (fixedThreadPool.isTerminated()) {//所有的子執行緒都結束了
				  System.out.println("共耗時:"+(System.currentTimeMillis()-startTime)/1000.0+"s");
				  break;
			  }
		  }
  //      System.out.println(getFileList("D:/阿里/"));
    }
    
    public static void parseExcel(String filePath) throws Exception{
    	
//    	 String filePath = "D:/阿里/test.xls";
         boolean isExcel2003 = filePath.toLowerCase().endsWith("xls")?true:false;
         int sheetNum = 0;//工作區間
         List<Object[]> datas = new ArrayList<Object[]>();//用來存資料
        
         Date date = new Date();
         System.out.println(filePath+"startdate-->"+sdf.format(date));
         String fName=new File(filePath).getName();
         fName = fName.substring(0,fName.lastIndexOf("."));
         if(isExcel2003){
             datas =  readXLS(filePath, sheetNum,date,fName);
         }else{
             datas =  readXLSX(filePath, sheetNum,date,fName);
         }
//       System.out.println(datas);
         try {
 			exportFile(datas,new File("D:/pinganfile/result/"+fName));
 		} catch (Exception e) {
 			e.printStackTrace();
 		}
        
    	
    }
    
    public static List<File> getFileList(String strPath) {
        File dir = new File(strPath);
        File[] files = dir.listFiles(); // 該檔案目錄下檔案全部放入陣列
        List<File> filelist = new ArrayList<>();
        if (files != null) {
            for (int i = 0; i < files.length; i++) {
//                String fileName = files[i].getName();
                if (files[i].isDirectory()) { // 判斷是檔案還是資料夾
                    getFileList(files[i].getAbsolutePath()); // 獲取檔案絕對路徑
                } else{ 
//                    String strFileName = files[i].getAbsolutePath();
                    filelist.add(files[i]);
                }
            }
        }
        return filelist;
    }
    

    private static int exportFile(List<Object[]> datas, File file) throws Exception {
		BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(file), "utf-8"));// 附加
		// 新增資料
		int index = 0;
		StringBuffer sb = new StringBuffer();
		for (int i = 0; i < datas.size(); i++) {
			Object[] data =datas.get(i);
			for(int j=0;j<data.length;j++){
				sb.append(data[j]+Constant.COLUMN_DELIMITER);//\177
			}
			bw.write(sb.toString());
			sb.setLength(0);
			bw.newLine();
			if (index % 50 == 0) {
				bw.flush();
			}
		}
		bw.close();
		return index;
	}
    private static List<Object[]> readXLS(String filePath, int sheetNum,Date date,String fName) throws IOException {
        FileInputStream inputStream = new FileInputStream(filePath);
        System.out.println(fName+"輸入流封裝用時:"+((System.currentTimeMillis()-date.getTime())/1000.0)+"s");
        HSSFWorkbook workbook = new HSSFWorkbook(inputStream);
        System.out.println(fName+"輸入流裝載WorkBook用時:"+((System.currentTimeMillis()-date.getTime())/1000.0)+"s");
        List<Object[]> datas = new ArrayList<Object[]>();//用來存資料

        /*** step1: 獲取Excel的工作區間總數*/
        int sheetNo = workbook.getNumberOfSheets();//取得工作區間的個數
        System.out.println(fName+"共有sheet數:"+sheetNo);
        for (int i = 0; i < sheetNo; i++) {

//            if (i != sheetNum) {//判斷是否為需要取得工作區間
//                continue;
//            }
            /*** step2：取得所需工作區間(下標從0開始) */
            HSSFSheet sheet = workbook.getSheetAt(i);
            if (sheet == null || sheet.getSheetName().toUpperCase().equals("SQL")) {
                return datas;
            }

            /*** step3：getPhysicalNumberOfRows獲取總共有多少行資料因為中間空行的話，則讀取出來的資料不準確 */
//            int hasRowNum = sheet.getPhysicalNumberOfRows();
            /** 獲取的是最後一行的編號（編號從0開始）。*/            
            int hasRowNum = sheet.getLastRowNum()+1;
            if(hasRowNum == 0){//sheet中所有行都沒有內容
            	System.out.println("["+fName+"]"+sheet.getSheetName()+"共有"+(hasRowNum)+"條資料需要處理");
                return datas;
            }else{
            	System.out.println("["+fName+"]"+sheet.getSheetName()+"共有"+(hasRowNum-1)+"條資料需要處理");
            }
            //已經處理了的行數
            int procssedNum = 0;
            //預設從第二行讀取(第一行表頭或空行不讀)
            int jj=1;
            //指定檔名從第三行讀取
            if(fName.endsWith("_1") && i==0){
            	jj=2;
            }
            for (int j = jj;j<hasRowNum ; j++) {
                /** step4: 獲取每一行 */	
                HSSFRow row = sheet.getRow(j);
                /** step5 : 去除空行 */
                if (row != null) {
                    /** step6: 獲取每一行的長度 */
                    int length = row.getLastCellNum();
                    if (length > 0) {
                        Object[] data = new Object[length];//定義一個集合，裝每一行的數值
                        for (int m = 0; m < length; m++) {
                            /** step7: 獲取每一行的每一列的值 */
                        	if(row.getCell(m).getCellType()==HSSFCell.CELL_TYPE_NUMERIC){
                        		data[m] = Double.valueOf(row.getCell(m).getNumericCellValue()).intValue();
                        	}else{
                        		data[m] = row.getCell(m);
                        	}
                        }
                        /** step8: 存資料 */
                        datas.add(data);
                    }
                    procssedNum++;
                    if(procssedNum%5000==0){
                    	System.out.println("["+fName+"]"+sheet.getSheetName()+"已處理 "+procssedNum+" 條資料!");
                    }
                }
            }
        }
        System.out.println("讀取"+fName+"WorkBook內容用時:"+((System.currentTimeMillis()-date.getTime())/1000.0)+"s");
        /** step9: 關閉輸入流 */
        inputStream.close();
        /** step10: 返回資料 */
        return datas;
    }

    private static  List<Object[]> readXLSX(String filePath, int sheetNum,Date date,String fName) throws IOException {
        FileInputStream inputStream = new FileInputStream(new File(filePath));
        System.out.println(fName+"輸入流封裝用時:"+((System.currentTimeMillis()-date.getTime())/1000.0)+"s");
        XSSFWorkbook workbook = new XSSFWorkbook(inputStream);
        System.out.println(fName+"輸入流裝載WorkBook用時:"+((System.currentTimeMillis()-date.getTime())/1000.0)+"s");
        List<Object[]> datas = new ArrayList<Object[]>();//定義一個list用來存資料

        /*** step1: 獲取Excel的工作區間的數量*/
        int sheetNo = workbook.getNumberOfSheets();

        for(int i=0;i<sheetNo;i++){
//            if(i != sheetNum){
//                continue;
//            }
            /** step2: 獲取某一工作區間 */
            XSSFSheet sheet = workbook.getSheetAt(i);
            if(sheet == null || sheet.getSheetName().toUpperCase().equals("SQL")){
                return datas;
            }
            /*** step3：getPhysicalNumberOfRows獲取總共有多少行資料因為中間空行的話，則讀取出來的資料不準確 */
//          int hasRowNum = sheet.getPhysicalNumberOfRows();
          /** 獲取的是最後一行的編號（編號從0開始）。*/            
	          int hasRowNum = sheet.getLastRowNum()+1;
	          if(hasRowNum == 0){//sheet中所有行都沒有內容
	          	System.out.println("["+fName+"]"+sheet.getSheetName()+"共有"+(hasRowNum)+"條資料需要處理");
	              return datas;
	          }else{
	          	System.out.println("["+fName+"]"+sheet.getSheetName()+"共有"+(hasRowNum-1)+"條資料需要處理");
	          }
	          //已經處理了的行數
	           int procssedNum = 0;
	           //預設從第二行讀取(第一行表頭或空行不讀)
	            int jj=1;
	            //指定檔名從第三行讀取
	            if(fName.endsWith("_1") && i==0){
	            	jj=2;
	            }
            /** step4: 取每一行的資料 */
            for(int j=jj;j<hasRowNum;j++){
                XSSFRow row = sheet.getRow(j);
                /** step5: 去空行 */
                if(row == null){
                    continue;
                }
                /** step6: 取每一行的長度 */
                int length = row.getLastCellNum();

                Object[] data = new Object[length];//定義一個數組用來存資料
                /** step7: 取每一列的資料 */
                for(int k=0; k<length; k++){
                    XSSFCell cell = row.getCell(k);
                    if(cell.getCellType()==XSSFCell.CELL_TYPE_NUMERIC){
                    	data[k] = Double.valueOf(cell.getNumericCellValue()).intValue();
                	}else{
                		data[k] = cell;
                	}
                }
                /** step8: 存資料 */
                datas.add(data);
                
                procssedNum++;
                if(procssedNum%5000==0){
                	System.out.println("["+fName+"]"+sheet.getSheetName()+"已處理 "+procssedNum+" 條資料!");
                }
            }
            /** step9: 關閉輸入流 */
            inputStream.close();
        }
        System.out.println("["+fName+"]"+"共耗時:"+(System.currentTimeMillis()-date.getTime())/1000.0+"s");
        /** step10: 返回資料 */
        return datas;
    }
}
 

完。