JavaWEB_POI匯出大量資料excel（50萬左右）

POI 對大資料量的匯出是一個難點，這裡博主總結了兩種處理方式：

方式一，使用高版本的POI，具有記憶體自動釋放的特點。

方式二，將資料匯出到多個Excel中，並進行壓縮處理，上傳到伺服器中。

方式一：

POI之前的版本不支援大資料量處理，如果資料過多則經常報OOM錯誤，有時候調整JVM大小效果也不是太好。3.8版本的POI新出來了SXSSFWorkbook,可以支援大資料量的操作，只是SXSSFWorkbook只支援.xlsx格式，不支援.xls格式。

3.8版本的POI對excel的匯出操作，一般只使用HSSFWorkbook以及SXSSFWorkbook，

HSSFWorkbook用來處理較少的資料量，SXSSFWorkbook用來處理大資料量以及超大資料量的匯出。 HSSFWorkbook的使用方法和之前的版本的使用方法一致，這裡就不在陳述使用方法了 SXSSFWorkbook的使用例子如下：

import junit.framework.Assert;

import org.apache.poi.ss.usermodel.Cell;

import org.apache.poi.ss.usermodel.Row;

import org.apache.poi.ss.usermodel.Sheet;

import org.apache.poi.ss.usermodel.Workbook;

import org.apache.poi.ss.util.CellReference;

import org.apache.poi.xssf.streaming.SXSSFWorkbook;

public static void main(String[] args) throws Throwable {

 Workbook wb = new SXSSFWorkbook(100); // keep 100 rows in memory, exceeding rows will be flushed to disk

 Sheet sh = wb.createSheet();

 for(int rownum = 0; rownum < 100000; rownum++){

 Row row = sh.createRow(rownum);

 for(int cellnum = 0; cellnum < 10; cellnum++){

 Cell cell = row.createCell(cellnum);

 String address = new CellReference(cell).formatAsString();

 cell.setCellValue(address); }

FileOutputStream out = new FileOutputStream("/temp/sxssf.xlsx");

 wb.write(out);

 out.close();

以前還用xml來處理，現在3.8以上就好辦了。

方式二：

說明：我的電腦 2.0CPU 2G記憶體能夠十秒鐘匯出 20W 條資料 ,12.8M的excel內容壓縮後2.68M

我們知道在POI匯出Excel時，資料量大了，很容易導致記憶體溢位。由於Excel 一個sheet允許的最大行數是65536這時我們想到分sheet進行匯出；但是這種情況也不能解決記憶體溢位的問題。畢竟資料還是一次性在記憶體中進行儲存的。這時我們想是不是可以匯出多個excel呢？下面我就嘗試著按照匯出多個excel

首先：我們要確定資料量有多大，然後確定一個excel匯出多少條資料，這樣就可以確定匯出的Excel的數量，於是我們就可以迴圈的匯出excel並儲存在任意的臨時目錄中。去這樣如果記憶體不夠的話虛擬機器就會去進行回收已經儲存的excel在記憶體中的空間。

假設我們我們已經成功的生成了多個excel，這時我們怎麼把這N個excel文件傳到客戶端呢？其實一個一個的傳也未嘗不可，但是考慮那樣對使用者來說體驗不夠好，再次多個檔案在網路上傳輸也比較慢。我們可以考慮對生成的幾個檔案進行壓縮，然後傳到客戶端。

總結一下

第一、分批次生成excel

第二、壓縮後到客戶端

下面我把我的一個小例項貼上供大家參考

第一、Person.java 普通javabean

Javabean程式碼

package bean;
/**
*
* @author http://javaflex.iteye.com/
*
*/
public class Person {
private Integer id;
private String name;
private String address;
private String tel;
private Double money=0.0;
public Double getMoney() {
return money;
}
public void setMoney(Double money) {
this.money = money;
}
public Person(Integer id, String name, String address, String tel,Double money) {
super();
this.id = id;
this.name = name;
this.address = address;
this.tel = tel;
this.money=money;
}
public Integer getId() {
return id;
}
public void setId(Integer id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public String getAddress() {
return address;
}
public void setAddress(String address) {
this.address = address;
}
public String getTel() {
return tel;
}
public void setTel(String tel) {
this.tel = tel;
}
}

第二、PersonService模擬業務邏輯迴圈生成100023個Person物件

模擬業務邏輯程式碼

package service;
import java.util.ArrayList;
import java.util.List;
import bean.Person;
/**
*
* @author http://javaflex.iteye.com/
*
*/
public class PersonService {
public static List getPerson(){
List<Person> list =new ArrayList<Person>();
for(int i=0;i<100320;i++){
list.add(new Person(i,"zhangsan"+i,"北京"+i,"13214587632",123123.12+i));
}
return list;
}
}

第三、業務處理Servlet

操作servlet程式碼

package servlet;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import javax.servlet.ServletException;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.hssf.util.CellRangeAddress;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.CellStyle;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import bean.Person;
import service.PersonService;
/**
*
* @author http://javaflex.iteye.com/
*
*/
public class PersonServlet extends HttpServlet {
private String fileName;
public PersonServlet() {
super();
}
public void destroy() {
super.destroy(); // Just puts "destroy" string in log
// Put your code here
}
public void doGet(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {
// 檔名獲取
Date date = new Date();
SimpleDateFormat format = new SimpleDateFormat("yyyyMMddHHmmss");
String f = "Person-" + format.format(date);
this.fileName = f;
setResponseHeader(response);
OutputStream out = null;
try {
out = response.getOutputStream();
List<Person> list = PersonService.getPerson();
toExcel(list,request,10000,f,out);
} catch (IOException e1) {
e1.printStackTrace();
} finally {
try {
out.flush();
out.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
/** 設定響應頭 */
public void setResponseHeader(HttpServletResponse response) {
try {
response.setContentType("application/octet-stream;charset=UTF-8");
response.setHeader("Content-Disposition", "attachment;filename="
+ java.net.URLEncoder.encode(this.fileName, "UTF-8")
+ ".zip");
response.addHeader("Pargam", "no-cache");
response.addHeader("Cache-Control", "no-cache");
} catch (Exception ex) {
ex.printStackTrace();
}
}
public void doPost(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {
doGet(request, response);
}
public void init() throws ServletException {
// Put your code here
}
public void toExcel(List<Person> list, HttpServletRequest request,
int length, String f, OutputStream out) throws IOException {
List<String> fileNames = new ArrayList();// 用於存放生成的檔名稱s
File zip = new File(request.getRealPath("/files") + "/" + f + ".zip");// 壓縮檔案
// 生成excel
for (int j = 0, n = list.size() / length + 1; j < n; j++) {
Workbook book = new HSSFWorkbook();
Sheet sheet = book.createSheet("person");
double d = 0;// 用來統計
String file = request.getRealPath("/files") + "/" + f + "-" + j
+ ".xls";
fileNames.add(file);
FileOutputStream o = null;
try {
o = new FileOutputStream(file);
// sheet.addMergedRegion(new
// CellRangeAddress(list.size()+1,0,list.size()+5,6));
Row row = sheet.createRow(0);
row.createCell(0).setCellValue("ID");
row.createCell(1).setCellValue("NAME");
row.createCell(2).setCellValue("ADDRESS");
row.createCell(3).setCellValue("TEL");
row.createCell(4).setCellValue("Money");
int m = 1;
for (int i = 1, min = (list.size() - j * length + 1) > (length + 1) ? (length + 1)
: (list.size() - j * length + 1); i < min; i++) {
m++;
Person user = list.get(length * (j) + i - 1);
Double dd = user.getMoney();
if (dd == null) {
dd = 0.0;
}
d += dd;
row = sheet.createRow(i);
row.createCell(0).setCellValue(user.getId());
row.createCell(1).setCellValue(user.getName());
row.createCell(2).setCellValue(user.getAddress());
row.createCell(3).setCellValue(user.getTel());
row.createCell(4).setCellValue(dd);
}
CellStyle cellStyle2 = book.createCellStyle();
cellStyle2.setAlignment(CellStyle.ALIGN_CENTER);
row = sheet.createRow(m);
Cell cell0 = row.createCell(0);
cell0.setCellValue("Total");
cell0.setCellStyle(cellStyle2);
Cell cell4 = row.createCell(4);
cell4.setCellValue(d);
cell4.setCellStyle(cellStyle2);
sheet.addMergedRegion(new CellRangeAddress(m, m, 0, 3));
} catch (Exception e) {
e.printStackTrace();
}
try {
book.write(o);
} catch (Exception ex) {
ex.printStackTrace();
} finally {
o.flush();
o.close();
}
}
File srcfile[] = new File[fileNames.size()];
for (int i = 0, n = fileNames.size(); i < n; i++) {
相關推薦

JavaWEB_POI匯出大量資料excel（50萬左右）

POI 對大資料量的匯出是一個難點，這裡博主總結了兩種處理方式：方式一，使用高版本的POI，具有記憶體自動釋放的特點。方式二，將資料匯出到多個Excel中，並進行壓縮處理，上傳到伺服器中。方式一： POI之前的版本不支援大資料量處理，如果資料過多則經常報OOM錯誤，有時候調整J

qt匯出、操作excel（多執行緒）

使用QAxObject在多執行緒下進行excel操作，將原來固定格式的文字檔案，通過解析之後寫入到excel中。效果圖多執行緒使用 Worker *pWorker = new Worker(); connect(pWorker, SIGNAL(err

Java 匯出大批量資料excel（百萬級）(轉載)

參考資料：http://bbs.51cto.com/thread-1074293-1-1.html http://bbs.51cto.com/viewthread.php?tid=1074

Java 讓excel匯出大量資料進行分表打成壓縮包進行下載

這段時間有涉及到關於從前臺自己導資料到伺服器，然後再把資料匯入資料庫的操作，當時用了兩天多時間才完成這個事情。最近有接到優化資料匯出這個功能的一些任務，雖然做得還不是很完善，但也有自己的一些思想在裡面。正好這是我第一次發技術部落格，也就用這個來作為第一個案例好了。 pub

讀取超大Excel（39萬行數據）

display dll rate splay es2017 bsp exce 利用必須有個學長需要處理Excel數據，Excel數據共有39W，將數據讀取後處理並導出數據。最開始嘗試了 NPOI ，發現NPOI 並不能完成該項任務，隨後嘗試引用的com組件：M

UML實踐經典教程（適合之前已經看過大量資料作為總結復習看）

join wid custom 作用延伸 mmu 系列 http oob UML全名為：Unified Modeling Language。是程序語言面向對象之後大家認可的一種設計“圖紙”，往往在之前的使用過程中大家都覺得沒什麽必要投入學習也能看懂。這就是這類圖的優勢。

Mysql匯出大量資料到文字

當需要從Mysql的某個資料表中，匯出其中的幾列到文字，並且以一定的格式，則用以下命令： SELECT concat(itemid,'-',clock*1000,',',value) result from history where clock>=1539

[mysql]清除單表大量資料方法（需保留部分資料）

下面的是實現方法： Select the rows not to be deleted into an empty table that has the same structure as the original table: INSERT INTO t_copy

mysql命令列的匯入匯出sql,txt,excel（都在linux或windows命令列操作）

Mysql匯入匯出sql,txt,excel 首先我們通過命令列進入到mysql安裝目錄的bin目錄下，比如我輸入的命令列為： d: cd D:/wamp/bin/mysql/mysql5.6.17/bin 一、匯入匯出sql( linux或windows命令列

PowerDesigner中匯出表結構Excel（轉載）

碰到一個需求，需要將PowerDesigner中的資料庫表結構資料導成Excel，網上看到一個很便捷的方法，記錄一下在PowerDesigner中，shift+ctrl+X，開啟指令碼執行，指令碼如下 '*************************************************

C#.net匯出標準的Excel（npoi）

不管用哪一種語言開發應用程式，匯出功能是最常見的，一般匯出檔案格式最常見的有PDF 、Excel、CSV、Word、TXT等，今天我們在此介紹一下Excel的匯出方法。微軟提供了匯出Excel的多種辦法，但是今天我們在這裡只介紹一種第三方的匯出方法，因為它

Mysql匯入匯出大量資料的方法、備份恢復辦法

經常使用PHP+Mysql的朋友一般都是通過phpmyadmin來管理資料庫的。日常的一些除錯開發工作，使用phpmyadmin確實很方便。但是當我們需要匯出幾百兆甚至幾個G的資料庫時，phpmyadmin就會很卡。甚至如果你是想匯入大量資料，則phpmyadmin完全

jxl匯出excel（合併單元格）

Demo import java.io.*; import jxl.*; import jxl.format.UnderlineStyle; import jxl.write.*; publicclass CreateXLS { public

json匯出excel（條數受限）

寫在前面：因為是後臺系統，所有有很多頁面都是記錄表格，然後想提供一個匯出excel的功能，前期實驗了bootstrap-table-export和tableExport，但是這些都只能匯出本頁資料（因為是伺服器分頁），然後就跟後臺討論了兩種實現方式。第一種是我傳

PHPExcel匯出大量資料超時及記憶體錯誤解決方法

原文：http://lhdst-163-com.iteye.com/blog/2149653 PHP匯出excel相對很多童鞋都碰到了，使用phpexcel類也確實方便，但匯出大資料的時候就沒那麼簡單了，常常會伴隨一些超時或記憶體溢位的問題，下面就給大家介紹一些方法，共同學

java匯出大量的excel

廢話少說，直入主題基本思路為建立一個臨時檔案寫入資料匯出資料刪除臨時檔案首先需要兩個jar包 antlr和stringtemplate 建立資料庫中的類Row private String name1; private S

java匯出檔案之Excel（CSV）下並以流形式輸出

<dependency> <groupId>net.sourceforge.javacsv</groupId> <artifactId>javacsv</artifactId> <v

php csv格式匯出大量資料

在php中，經常使用excel表格下載資料,但是當下載的資料量比較大時，會比較慢，以下方法適用於匯出大批量的資料，但是當帶出的欄位較多是，也會影響下載的速度。<?php header ( "C

C#實現向已存在的Excel檔案中寫入資料例項（兩種方法）

//新增引用 using Excel = Microsoft.Office.Interop.Excel; using System.Reflection; 方法一：將識別結果寫入到Excel表格中（根據指定模版寫入，並將其以當前儲存時間命名另存）

大規模資料生成（500萬條資料）

前言：最近有一個作業需要對大規模資料進行效能測試需要500萬條資料，這是一個很大的量，我們無法通過cvs檔案這種方式把資料匯入資料庫我開始想到了一個解決方案，使用java程式，迴圈500萬次，執行更新語句，把資料插入到資料庫中。這種方式雖然方便了操

JavaWEB_POI匯出大量資料excel（50萬左右）

相關推薦