分析导出实现代码,XLSX支持:
/**
* 生成XLSX,2007版本的excel,每个sheet无6.5W的行数限制,但是到了一定数量,可能内存溢出,
* 次方法适合在预计10W以下的数据导出时使用,本机测试,14W可以导出。列数量在8列左右
*
* @param fileOut
* 输出流
* @param sheetMap
* 要设置的数据信息
* @throws SQLException
*/
public static void createXSLXByResultSet(OutputStream fileOut, WriteXLSBean... beans)
throws SQLException {
try {
//重点 Workbook
Workbook wb = new XSSFWorkbook();
for (int i = 0, len = beans.length; i < len; i++) {
WriteXLSBean xlsBean = beans[i];
Sheet sheet = wb.createSheet(xlsBean.getSheetName());
ResultSet rs = xlsBean.getRs();
ResultSetMetaData rsmd = rs.getMetaData();
TypeHandlerRegistry tr = BeanContext.tr;
Map<String, String> th = xlsBean.getTh();
int index = 0;
while (rs.next()) {
long t1 = System.currentTimeMillis();
org.apache.poi.ss.usermodel.Row row = sheet
.createRow(index);
for (int j = 0, numberOfColumns = rsmd.getColumnCount(); j < numberOfColumns; j++) {
String key = rsmd.getColumnLabel(j + 1).toLowerCase();
if (th.containsKey(key)) {
TypeHandler<?> type = tr.getTypeHandler(JdbcType
.forCode(rsmd.getColumnType(j + 1)));
Object obj = type.getResult(rs, key);
row.createCell(j).setCellValue(obj == null ? ""
: obj.toString());
}
}
System.out.println(index + " :"
+ (System.currentTimeMillis() - t1));
index++;
}
}
//重点 Workbook
wb.write(fileOut);
} catch (IOException e) {
e.printStackTrace();
throw new ServiceRunTimeException("生产xls文档错误", e);
} finally {
}
}
在上面 标注了重点的两处,分别是:
1.构建一个Excel对象
2.将该对象写入一个OutPutStream
而在构建过程中,没有地方写入OutPutSteam ,也就是说必须在内存中构建整个 Excel,才能进行写出操作,在大数据量情况下,这样将导致所有数据加载到内存中,而不能输出,导致最后 内存溢出。
根据运行环境不用,可能内存溢出的 情况不同
根据情况,如果数据量达到10W以上,建议使用
1、多个Excel,每个Excel一个Sheet,因为所有Sheet都是Workbook的组成部分。如果不分多个Excel,即使分Sheet也没用,
2、每个Excel中列数适中,比如: 5W行每个Excel档,实现分多次导出和分页查询原理一样
3、对多个Excel导出到一个临时目录,并通过程序压缩,然后提供给客户下载
4、用另外一种方式,见 2 http://lyjilu.iteye.com/blog/2083106
2003版通过数据库结果存到List中,然后进行生产:Table 就是List Row 是Map
/** * 生产xls,2003版本的excel,每个sheet有6.5W的行数限制 * * @param fileOut * 输出流,未关闭 * @param sheetMap * 要导出的数据信息 */ public static void createXSLByMap(OutputStream fileOut, Map<String, Table<Row<String, Object>>> sheetMap) { try { HSSFWorkbook wb = new HSSFWorkbook(); Set<String> keys = sheetMap.keySet(); for (Iterator<String> iterator = keys.iterator(); iterator .hasNext();) { String SheetKey = iterator.next(); Sheet sheet = wb.createSheet(SheetKey); List<Row<String, Object>> sheetRows = sheetMap.get(SheetKey); for (int i = 0, len = sheetRows.size(); i < len; i++) { Map<String, Object> cellMap = sheetRows.get(i); Set<String> cellSet = cellMap.keySet(); org.apache.poi.ss.usermodel.Row row = sheet.createRow(i); int j = 0; for (Iterator<String> iterCell = cellSet.iterator(); iterCell .hasNext(); j++) { String cellKey = iterCell.next(); Object obj = cellMap.get(cellKey); row.createCell(j).setCellValue(obj == null ? "" : obj.toString()); } } } wb.write(fileOut); } catch (IOException e) { e.printStackTrace(); throw new ServiceRunTimeException("生产xls文档错误", e); } finally { } }
新版本 POI+office 2007版本excel可以导出几十万条而不内存溢出,详细见:
http://lyjilu.iteye.com/blog/2083106
相关推荐
java解决大批量数据导出Excel产生内存溢出的方案
Java_批量导出大数据量Excel方法.zip
java poi导出大量数据到Excel
轻松解决普通poi形式导出Excel的中出现的栈溢出问题,此资源可实现千万级数据分批导出csv文件,csv大数据量导出(千万级别,不会内存溢出),多线程导出 ,生产环境已经很稳定的使用着
30万的数据量,生成多个excel最后打包成zip下载,是工程,直接导入就行
jxl 导出Excel 支持大数据量导出 导出数据量大 速度也快
支持模板导出 ,支持分页查询 , 支持大数据量,采用SXSSFWorkbook
Java导出Excel,jxl 导出Excel 支持大数据量导出 导出数据量大
java实现excel的导入导出(poi详解),经过测试poi效率要比jxl要高很多,特别是数据量大的时候jxl根本无法用肉眼入目,本资源是个可运行项目demo,很有参考价值!
java中将数据和图片导出到Excel文件
解决poi大数据量导出excel的代码,该代码中所用的jar包是poi3.9。在测试过程中单个sheet中导出20万数据没有问题。
目前java框架中能够生成excel文件的的确不少,但是,能够生成大数据量的excel框架,我倒是没发现,一般数据量大了都会出现内存溢出,所以,生成大数据量的excel文件要返璞归真,用java的基础技术,IO流来实现。...
用开源 Apache POI 技术导出Excel,解决导出大数据出现OOM、栈溢出问题,此资源可实现百万级数据多线程分批导出Excel文件,不会内存溢出,生产环境已很稳定的使用者,所以用到的技术很核心、值得参考
java利用替换Excel2007中sheet方式导出excel,支持大数据量,高性能
java中使用poi导出Excel大批量数据 存在两个导出方法:存在一个分批量导出ZIP文件,一个导出exel文件
在java web系统应用中我们经常会用到大批量数据的导出,动辄就上几十万几百万的数据让我们的程序感觉...java中使用poi导出Excel大批量数据到客户端 存在两个导出方法:存在一个分批量导出ZIP文件,一个导出exel文件
web项目中需要有将数据导出excel的操作需求 使用html格式导出方法,但在导出时,根据最大行数重新建立新的excel文件; 数据从数据库取出使用纯jdbc方式读数据,边读边向文件中写; 待所有数据写完,将各个小excel...
轻松解决普通poi形式导出Excel的中出现的栈溢出问题,此资源可实现千万级数据分批导出csv文件,测试实现16500000条数据大概80秒左右;具体表里内容。
poi 和 jxl 对内存的消耗很大,在处理大批量的数据时,容易造成内存溢出。比如处理一个 3M 的 Excel,poi 和 jxl 可能需要上百兆的内存,但 easyexcel 可能只需要几百或几千 KB(内存消耗对比有些夸张)。在性能这...
开发测试时候导入数据遇到大数据导入的问题,整理了下,需要的朋友可以参考下