精华内容
下载资源
问答
  • easyexcel导出百万级数据
    千次阅读
    2020-09-28 19:44:13

    说明

    由于某些原因系统jvm内存最大只能给到512,但是要导出百万数据该如何实现呢?传统的一次性导出肯定是不行的

    优化

    Excel导出基于 springboot , easyexcel
    依赖:

    <dependency>
    			<groupId>com.alibaba</groupId>
    			<artifactId>easyexcel</artifactId>
    			<version>2.2.6</version>
    		</dependency>
    

    导出优化

    基于自增id滚动式查询写入

    @GetMapping("/standard-product-ext/export")
        public void productExtExport(HttpServletResponse response, StandardProductExtQuery query) throws Exception{
    
            String today = DateUtil.today();
            String fileName = "标准商品标签导入模板" + today;
            String fileNameCode = URLEncoder.encode(fileName, "UTF-8");
    
            response.setContentType("application/force-download");
            response.setHeader("Content-Disposition", "attachment;filename=" + fileNameCode + ".xlsx");
            ExcelWriter writer = new ExcelWriterBuilder()
                    .autoCloseStream(true)
                    .file(response.getOutputStream())
                    .head(DscStandardProductExtVO.class)
                    .build();
            Integer lastBatchMaxId = 0;
            query.setLastBatchMaxId(lastBatchMaxId);
            WriteSheet writeSheet = new WriteSheet();
            writeSheet.setSheetName("标准商品标签导入模板" + today);
            List<DscStandardProductExtVO> productExt
            for (; ; ) {
                productExt = dictionaryService.getProductExt(query);
                if (productExt.isEmpty()) {
                    writer.write(productExt, writeSheet);
                    writer.finish();
                    break;
                } else {
                    lastBatchMaxId = productExt.stream().map(DscStandardProductExtVO::getId).max(Integer::compareTo).orElse(Integer.MAX_VALUE);
                    query.setLastBatchMaxId(lastBatchMaxId);
                    writer.write(productExt, writeSheet);
                }
    
    
            }
        }
    
    • dictionaryService.getProductExt(query) 的xml
    SELECT
           *
            FROM
            base_drug
            where
            id > #{lastBatchMaxId}
    

    导入优化

    • 使用 easyexcel 监听器导出
    @PostMapping("/standard-product-ext/import")
        public ResponseResult productExtImport(MultipartFile file) throws IOException {
    
            File localFile = new File(appSettings.getTempdir() + RandomStringUtils.randomAlphanumeric(12) + file.getOriginalFilename());
            // 将上传文件 写入到 localFile  本地文件,后续对 localFile 操作读取
            FileUtils.multipartFileToFile(file, localFile);
            try {
                ExcelUploadResult excelUploadResult = dictionaryService.updateBatchProductExtByFile(localFile);
                return ResponseUtils.success(excelUploadResult);
            } catch (DaoException e) {
                ResponseUtils.fail(ErrorCodeConstants.FAIL, "导入标准商品标签失败");
            }
            return null;
    
        }
    
    

    dictionaryService.updateBatchProductExtByFile(localFile) 方法

    public ExcelUploadResult updateBatchProductExtByFile(File excelFile) throws DaoException{
            StandardProductExtListener listener = new StandardProductExtListener(clearSearchDao,
                    dscStandardProductExtDao, cosUtils, appSettings);
            try {
                EasyExcel.read(excelFile, DscStandardProductExtVO.class, listener).sheet().doRead();
            } catch (Exception e) {
                log.error("[标签导入]读取excel出错", e);
                throw new ServiceException("excel导入失败");
            } finally {
                if (excelFile.exists()) {
                    excelFile.delete();
                }
            }
            int successTotal = listener.getSuccessTotal();
            int total = listener.getTotal();
            int error = listener.getError();
            ExcelUploadResult result =  error > 0 ? new ExcelUploadResult(total, successTotal,error, listener.getErrorFileUrl())
            : new ExcelUploadResult(successTotal, total, 0, null);
            return result;
        }
    
    • StandardProductExtListener

    需要注意的是 StandardProductExtListener 不能被spirng管理,需要手动new,依赖spring的类通过构造方法注入,这里是官方说明的,如果给spirng管理会有什么问题暂时没有尝试

    public class StandardProductExtListener extends AnalysisEventListener<DscStandardProductExtVO> {
    
    
        int successTotal = 0;
        int total = 0;
        int error = 0;
        String errorFileUrl;
    
        List<DscStandardProductExtVO> list = new ArrayList<>();
    
        ClearSearchDao clearSearchDao;
    
        DscStandardProductExtDao dscStandardProductExtDao;
    
        CosUtils cosUtils;
    
        AppSettings appSettings;
    
        List<DscStandardProductExtVO> errorList = Lists.newArrayList();
    
        public StandardProductExtListener(ClearSearchDao clearSearchDao, DscStandardProductExtDao dscStandardProductExtDao,
                                          CosUtils cosUtils, AppSettings appSettings) {
            this.clearSearchDao = clearSearchDao;
            this.dscStandardProductExtDao = dscStandardProductExtDao;
            this.cosUtils = cosUtils;
            this.appSettings = appSettings;
        }
    
    
    
    
        /**
         * 每条数据的解析
         * @param vo
         * @param analysisContext
         */
        @Override
        public void invoke(DscStandardProductExtVO vo, AnalysisContext analysisContext) {
            list.add(vo);
            if (list.size() > 3000) {
                try {
                    doFile(list);
                    total += list.size();
                    list.clear();
                } catch (DaoException e) {
                    e.printStackTrace();
                }
            }
    
        }
    
        @Override
        public void doAfterAllAnalysed(AnalysisContext analysisContext) {
            try {
                total += list.size();
                doFile(list);
                log.info("处理最后数据{}", total);
                errorFileUrl = updateErrorFile();
            } catch (DaoException e) {
                e.printStackTrace();
            }
        }
    
        public void doFile(List<DscStandardProductExtVO> readExcels) throws DaoException{
           // 业务逻辑处理
           }
    
    
    }
    

    总结

    经过测试 导出百万数据 使用这两种优化没什么问题,只是导入速度可能有点慢,但是不会OOM,其次可能系统full gc会相对严重。

    关于我

    觉得文章不错请扫码关注我吧

    weichat

    更多相关内容
  • 文章标签:easyexcel导出百万级数据excel一次滚动太多excel翻页不连续java导出数据到excel模板java导出数据到excel表格java导出超过65535 这篇文章不是标题党,下文会通过一个仿真例子分析如何优化百万级别数据...

    weixin_39850981 2020-11-29 21:08:52 

     938 正在上传…重新上传取消​ 收藏 5

    文章标签: easyexcel导出百万级数据 excel一次滚动太多 excel翻页不连续 java导出数据到excel模板 java导出数据到excel表格 java导出超过65535

    26ba89ca71a5b653e4d994af3755f506.png

    这篇文章不是标题党,下文会通过一个仿真例子分析如何优化百万级别数据Excel导出。

    笔者负责维护的一个数据查询和数据导出服务是一个相对远古的单点应用,在上一次云迁移之后扩展为双节点部署,但是发现了服务经常因为大数据量的数据导出频繁Full GC,导致应用假死无法响应外部的请求。因为某些原因,该服务只能够「分配2GB的最大堆内存」,下面的优化都是以这个堆内存极限为前提。通过查看服务配置、日志和APM定位到两个问题:

    1. 启动脚本中添加了CMS参数,采用了CMS收集器,该收集算法对内存的敏感度比较高,大批量数据导出容易瞬间打满老年代导致Full GC频繁发生。
    2. 数据导出的时候采用了一次性把目标数据全部查询出来再写到流中的方式,大量被查询的对象驻留在堆内存中,直接打满整个堆。

    对于问题1咨询过身边的大牛朋友,直接把所有CMS相关的所有参数去掉,由于生产环境使用了JDK1.8,相当于直接使用默认的GC收集器参数-XX:+UseParallelGC,也就是Parallel Scavenge + Parallel Old的组合然后重启服务。观察APM工具发现Full GC的频率是有所下降,但是一旦某个时刻导出的数据量十分巨大(例如查询的结果超过一百万个对象,超越可用的最大堆内存),还是会陷入无尽的Full GC,也就是修改了JVM参数只起到了治标不治本的作用。所以下文会针对这个问题(也就是问题2),通过一个仿真案例来分析一下如何进行优化。

    一些基本原理

    如果使用Java(或者说依赖于JVM的语言)开发数据导出的模块,下面的伪代码是通用的:

     
    
    1. 数据导出方法(参数,输出流[OutputStream]){

    2. 1. 通过参数查询需要导出的结果集

    3. 2. 把结果集序列化为字节序列

    4. 3. 通过输出流写入结果集字节序列

    5. 4. 关闭输出流

    6. }

    一个例子如下:

     
    
    1. @Data

    2. public static class Parameter{

    3. private OffsetDateTime paymentDateTimeStart;

    4. private OffsetDateTime paymentDateTimeEnd;

    5. }

    6. public void export(Parameter parameter, OutputStream os) throws IOException {

    7. List<OrderDTO> result =

    8. orderDao.query(parameter.getPaymentDateTimeStart(), parameter.getPaymentDateTimeEnd()).stream()

    9. .map(order -> {

    10. OrderDTO dto = new OrderDTO();

    11. ......

    12. return dto;

    13. }).collect(Collectors.toList());

    14. byte[] bytes = toBytes(result);

    15. os.write(bytes);

    16. os.close();

    17. }

    针对不同的OutputStream实现,最终可以把数据导出到不同类型的目标中,例如对于FileOutputStream而言相当于把数据导出到文件中,而对于SocketOutputStream而言相当于把数据导出到网络流中(客户端可以读取该流实现文件下载)。目前B端应用比较常见的文件导出都是使用后一种实现,基本的交互流程如下:

    f6a28954f1f97dd887fdcbd3992156c7.png

    为了节省服务器的内存,这里的返回数据和数据传输部分可以设计为分段处理,也就是查询的时候考虑把查询全量的结果这个思路改变为每次只查询部分数据,直到得到全量的数据,每批次查询的结果数据都写进去OutputStream中。

    这里以MySQL为例,可以使用类似于分页查询的思路,但是鉴于LIMIT offset,size的效率太低,结合之前的一些实践,采用了一种「改良的"滚动翻页"的实现方式」(这个方式是前公司的某个架构小组给出来的思路,后面广泛应用于各种批量查询、数据同步、数据导出以及数据迁移等等场景,这个思路肯定不是首创的,但是实用性十分高),注意这个方案要求表中包含一个有自增趋势的主键,单条查询SQL如下:

    SELECT * FROM tableX WHERE id > #{lastBatchMaxId} [其他条件] ORDER BY id [ASC|DESC](这里一般选用ASC排序) LIMIT ${size}

    把上面的SQL放进去前一个例子中,并且假设订单表使用了自增长整型主键id,那么上面的代码改造如下:

     
    
    1. public void export(Parameter parameter, OutputStream os) throws IOException {

    2. long lastBatchMaxId = 0L;

    3. for (;;){

    4. List<Order> orders = orderDao.query([SELECT * FROM t_order WHERE id > #{lastBatchMaxId}

    5. AND payment_time >= #{parameter.paymentDateTimeStart} AND payment_time <= #{parameter.paymentDateTimeEnd} ORDER BY id ASC LIMIT ${LIMIT}]);

    6. if (orders.isEmpty()){

    7. break;

    8. }

    9. List<OrderDTO> result =

    10. orderDao.query([SELECT * FROM t_order]).stream()

    11. .map(order -> {

    12. OrderDTO dto = new OrderDTO();

    13. ......

    14. return dto;

    15. }).collect(Collectors.toList());

    16. byte[] bytes = toBytes(result);

    17. os.write(bytes);

    18. os.flush();

    19. lastBatchMaxId = orders.stream().map(Order::getId).max(Long::compareTo).orElse(Long.MAX_VALUE);

    20. }

    21. os.close();

    22. }

    「上面这个示例就是百万级别数据Excel导出优化的核心思路」。查询和写入输出流的逻辑编写在一个死循环中,因为查询结果是使用了自增主键排序的,而属性lastBatchMaxId则存放了本次查询结果集中的最大id,同时它也是下一批查询的起始id,这样相当于基于id和查询条件向前滚动,直到查询条件不命中任何记录返回了空列表就会退出死循环。而limit字段则用于控制每批查询的记录数,可以按照应用实际分配的内存和每批次查询的数据量考量设计一个合理的值,这样就能让单个请求下常驻内存的对象数量控制在limit个从而使应用的内存使用更加可控,避免因为并发导出导致堆内存瞬间被打满。


    这里的滚动翻页方案远比LIMIT offset,size效率高,因为此方案每次查询都是最终的结果集,而一般的分页方案使用的LIMIT offset,size需要先查询,后截断。

    仿真案例

    某个应用提供了查询订单和导出记录的功能,表设计如下:

     
    
    1. DROP TABLE IF EXISTS `t_order`;

    2. CREATE TABLE `t_order`

    3. (

    4. `id` BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY COMMENT '主键',

    5. `creator` VARCHAR(16) NOT NULL DEFAULT 'admin' COMMENT '创建人',

    6. `editor` VARCHAR(16) NOT NULL DEFAULT 'admin' COMMENT '修改人',

    7. `create_time` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',

    8. `edit_time` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '修改时间',

    9. `version` BIGINT NOT NULL DEFAULT 1 COMMENT '版本号',

    10. `deleted` TINYINT NOT NULL DEFAULT 0 COMMENT '软删除标识',

    11. `order_id` VARCHAR(32) NOT NULL COMMENT '订单ID',

    12. `amount` DECIMAL(10, 2) NOT NULL DEFAULT 0 COMMENT '订单金额',

    13. `payment_time` DATETIME NOT NULL DEFAULT '1970-01-01 00:00:00' COMMENT '支付时间',

    14. `order_status` TINYINT NOT NULL DEFAULT 0 COMMENT '订单状态,0:处理中,1:支付成功,2:支付失败',

    15. UNIQUE uniq_order_id (`order_id`),

    16. INDEX idx_payment_time (`payment_time`)

    17. ) COMMENT '订单表';

    现在要基于支付时间段导出一批订单数据,先基于此需求编写一个简单的SpringBoot应用,这里的Excel处理工具选用Alibaba出品的EsayExcel,主要依赖如下:

     
    
    1. <dependency>

    2. <groupId>org.springframework.boot</groupId>

    3. <artifactId>spring-boot-starter-web</artifactId>

    4. </dependency>

    5. <dependency>

    6. <groupId>org.springframework.boot</groupId>

    7. <artifactId>spring-boot-starter-jdbc</artifactId>

    8. </dependency>

    9. <dependency>

    10. <groupId>mysql</groupId>

    11. <artifactId>mysql-connector-java</artifactId>

    12. <version>8.0.18</version>

    13. </dependency>

    14. <dependency>

    15. <groupId>com.alibaba</groupId>

    16. <artifactId>easyexcel</artifactId>

    17. <version>2.2.6</version>

    18. </dependency>

    模拟写入200W条数据,生成数据的测试类如下:

     
    
    1. public class OrderServiceTest {

    2. private static final Random OR = new Random();

    3. private static final Random AR = new Random();

    4. private static final Random DR = new Random();

    5. @Test

    6. public void testGenerateTestOrderSql() throws Exception {

    7. HikariConfig config = new HikariConfig();

    8. config.setUsername("root");

    9. config.setPassword("root");

    10. config.setJdbcUrl("jdbc:mysql://localhost:3306/local?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&useSSL=false");

    11. config.setDriverClassName(Driver.class.getName());

    12. HikariDataSource hikariDataSource = new HikariDataSource(config);

    13. JdbcTemplate jdbcTemplate = new JdbcTemplate(hikariDataSource);

    14. for (int d = 0; d < 100; d++) {

    15. String item = "('%s','%d','2020-07-%d 00:00:00','%d')";

    16. StringBuilder sql = new StringBuilder("INSERT INTO t_order(order_id,amount,payment_time,order_status) VALUES ");

    17. for (int i = 0; i < 20_000; i++) {

    18. sql.append(String.format(item, UUID.randomUUID().toString().replace("-", ""),

    19. AR.nextInt(100000) + 1, DR.nextInt(31) + 1, OR.nextInt(3))).append(",");

    20. }

    21. jdbcTemplate.update(sql.substring(0, sql.lastIndexOf(",")));

    22. }

    23. hikariDataSource.close();

    24. }

    25. }

    基于JdbcTemplate编写DAO类OrderDao:

     
    
    1. @RequiredArgsConstructor

    2. @Repository

    3. public class OrderDao {

    4. private final JdbcTemplate jdbcTemplate;

    5. public List<Order> queryByScrollingPagination(long lastBatchMaxId,

    6. int limit,

    7. LocalDateTime paymentDateTimeStart,

    8. LocalDateTime paymentDateTimeEnd) {

    9. return jdbcTemplate.query("SELECT * FROM t_order WHERE id > ? AND payment_time >= ? AND payment_time <= ? " +

    10. "ORDER BY id ASC LIMIT ?",

    11. p -> {

    12. p.setLong(1, lastBatchMaxId);

    13. p.setTimestamp(2, Timestamp.valueOf(paymentDateTimeStart));

    14. p.setTimestamp(3, Timestamp.valueOf(paymentDateTimeEnd));

    15. p.setInt(4, limit);

    16. },

    17. rs -> {

    18. List<Order> orders = new ArrayList<>();

    19. while (rs.next()) {

    20. Order order = new Order();

    21. order.setId(rs.getLong("id"));

    22. order.setCreator(rs.getString("creator"));

    23. order.setEditor(rs.getString("editor"));

    24. order.setCreateTime(OffsetDateTime.ofInstant(rs.getTimestamp("create_time").toInstant(), ZoneId.systemDefault()));

    25. order.setEditTime(OffsetDateTime.ofInstant(rs.getTimestamp("edit_time").toInstant(), ZoneId.systemDefault()));

    26. order.setVersion(rs.getLong("version"));

    27. order.setDeleted(rs.getInt("deleted"));

    28. order.setOrderId(rs.getString("order_id"));

    29. order.setAmount(rs.getBigDecimal("amount"));

    30. order.setPaymentTime(OffsetDateTime.ofInstant(rs.getTimestamp("payment_time").toInstant(), ZoneId.systemDefault()));

    31. order.setOrderStatus(rs.getInt("order_status"));

    32. orders.add(order);

    33. }

    34. return orders;

    35. });

    36. }

    37. }

    编写服务类OrderService:

     
    
    1. @Data

    2. public class OrderDTO {

    3. @ExcelIgnore

    4. private Long id;

    5. @ExcelProperty(value = "订单号", order = 1)

    6. private String orderId;

    7. @ExcelProperty(value = "金额", order = 2)

    8. private BigDecimal amount;

    9. @ExcelProperty(value = "支付时间", order = 3)

    10. private String paymentTime;

    11. @ExcelProperty(value = "订单状态", order = 4)

    12. private String orderStatus;

    13. }

    14. @Service

    15. @RequiredArgsConstructor

    16. public class OrderService {

    17. private final OrderDao orderDao;

    18. private static final DateTimeFormatter F = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss");

    19. public List<OrderDTO> queryByScrollingPagination(String paymentDateTimeStart,

    20. String paymentDateTimeEnd,

    21. long lastBatchMaxId,

    22. int limit) {

    23. LocalDateTime start = LocalDateTime.parse(paymentDateTimeStart, F);

    24. LocalDateTime end = LocalDateTime.parse(paymentDateTimeEnd, F);

    25. return orderDao.queryByScrollingPagination(lastBatchMaxId, limit, start, end).stream().map(order -> {

    26. OrderDTO dto = new OrderDTO();

    27. dto.setId(order.getId());

    28. dto.setAmount(order.getAmount());

    29. dto.setOrderId(order.getOrderId());

    30. dto.setPaymentTime(order.getPaymentTime().format(F));

    31. dto.setOrderStatus(OrderStatus.fromStatus(order.getOrderStatus()).getDescription());

    32. return dto;

    33. }).collect(Collectors.toList());

    34. }

    35. }

    最后编写控制器OrderController:

     
    
    1. @RequiredArgsConstructor

    2. @RestController

    3. @RequestMapping(path = "/order")

    4. public class OrderController {

    5. private final OrderService orderService;

    6. @GetMapping(path = "/export")

    7. public void export(@RequestParam(name = "paymentDateTimeStart") String paymentDateTimeStart,

    8. @RequestParam(name = "paymentDateTimeEnd") String paymentDateTimeEnd,

    9. HttpServletResponse response) throws Exception {

    10. String fileName = URLEncoder.encode(String.format("%s-(%s).xlsx", "订单支付数据", UUID.randomUUID().toString()),

    11. StandardCharsets.UTF_8.toString());

    12. response.setContentType("application/force-download");

    13. response.setHeader("Content-Disposition", "attachment;filename=" + fileName);

    14. ExcelWriter writer = new ExcelWriterBuilder()

    15. .autoCloseStream(true)

    16. .excelType(ExcelTypeEnum.XLSX)

    17. .file(response.getOutputStream())

    18. .head(OrderDTO.class)

    19. .build();

    20. // xlsx文件上上限是104W行左右,这里如果超过104W需要分Sheet

    21. WriteSheet writeSheet = new WriteSheet();

    22. writeSheet.setSheetName("target");

    23. long lastBatchMaxId = 0L;

    24. int limit = 500;

    25. for (; ; ) {

    26. List<OrderDTO> list = orderService.queryByScrollingPagination(paymentDateTimeStart, paymentDateTimeEnd, lastBatchMaxId, limit);

    27. if (list.isEmpty()) {

    28. writer.finish();

    29. break;

    30. } else {

    31. lastBatchMaxId = list.stream().map(OrderDTO::getId).max(Long::compareTo).orElse(Long.MAX_VALUE);

    32. writer.write(list, writeSheet);

    33. }

    34. }

    35. }

    36. }

    这里为了方便,把一部分业务逻辑代码放在控制器层编写,实际上这是不规范的编码习惯,这一点不要效仿。添加配置和启动类之后,通过请求http://localhost:10086/order/export?paymentDateTimeStart=2020-07-01 00:00:00&paymentDateTimeEnd=2020-07-16 00:00:00测试导出接口,某次导出操作后台输出日志如下:

    导出数据耗时:29733 ms,start:2020-07-01 00:00:00,end:2020-07-16 00:00:00

    导出成功后得到一个文件(连同表头一共1031540行):

    2bec9ac88b511c429cb07cb846b3a012.png

    小结

    这篇文章详细地分析大数据量导出的性能优化,最要侧重于内存优化。该方案实现了在尽可能少占用内存的前提下,在效率可以接受的范围内进行大批量的数据导出。这是一个可复用的方案,类似的设计思路也可以应用于其他领域或者场景,不局限于数据导出。

    文中demo项目的仓库地址是:

    • Github:https://github.com/zjcscut/spring-boot-guide/tree/master/ch10086-excel-export

    (本文完 c-2-d e-a-20200820 20:27 PM)

    相关资源:easyExcel实现大数据导出_easyexcel导出百万级数据,easyexcel百万...

    展开全文
  • 使用easyExcel导出百万级数据

    千次阅读 2019-07-17 18:55:32
    1:测试数据量两百二十多万,Excel2007,一个Excel多个sheet 2:导入maven依赖包 <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <...

    1:测试数据量两百二十多万,Excel2007,一个Excel多个sheet

    2:导入maven依赖包

    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>easyexcel</artifactId>
        <version>1.1.2-beta5</version>
    </dependency>

    3:实体类添加注解。注意事项:1:必须继承BaseRowModel。2:@ExcelProperty必须写,其中value是要导出到Excel的表头名字自己起,index:代表某一列从0开始排序,由于实体类字段比较多,所以在导出时会自动忽略没有加注解的字段

    public class TaskStoreItemDTO extends BaseRowModel{
    	
    @ExcelProperty(value = "id",index = 0)
    private String id;
    	
    @ExcelProperty(value = "replenish_item_store_id",index = 1)
    private String replenishItemStoreId;
    	
    @ExcelProperty(value = "tab_nbr",index = 2)
    private String tabNbr;
    
    }

    4:业务层书写。1:aa:代表要导出的路径:例:D:/test/.....随意。2:writer.write()方法可以改变,因为我的是两百万的数据所以这么写,你要是少可以把代码改一下把百万级中分sheet的代码删除掉。下边给大家截图修改那些。10000:这个是一个sheet要展示多少条数据

    //查询数据库返回的数据集合
    List<TaskStoreItemDTO> exportList = mapper.export(taskId);
    
    //导出开始,生成EXCEL并指定输出路径
    OutputStream out=null;
    try {
    	String aa=serviceConfig.getExportFeedbackPath()+"任务信息详情表.xlsx";
    	out = new FileOutputStream(aa);
    	ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);
    	//测试导出200万数据
    	//List<TaskStoreItemDTO> exportList = mapper.test();
    	List<List<TaskStoreItemDTO>> taskStoreItemList = Lists.partition(exportList, 1000000);
    	//一个sheet一百万调数据,自动分页
    	for(int i=0;i<taskStoreItemList.size();i++) {
    		// 设置SHEET
    		Sheet sheet = new Sheet((i+1), 0,TaskStoreItemDTO.class,"sheet"+(i+1),null);
    		writer.write(taskStoreItemList.get(i), sheet);
    		}
    	    writer.finish();
    	} catch (FileNotFoundException e) {
    			// TODO Auto-generated catch block
    			e.printStackTrace();
    		}finally {
    			try {
    				out.flush();
    				out.close();
    			} catch (IOException e) {
    				// TODO Auto-generated catch block
    				e.printStackTrace();
    			}
    		}

    5:可以修改的数据

    第一张截图是在修改第二张截图后的操作:三个参数:1一个sheet,从0行开始,继承BaseRowModel的实体类,必须写不然找不到要导出的表头。下边是设置这个sheet的名字。在修改第二张截图后writer.write()方法可以改变,自己writer.的时候能用的方法就会展示。自己选择适合自己的就可以了。

    6:导出结果,数据就不展示了

    7:由于easyExcel是阿里巴巴的所以还可去查看官方给的例子。给大家粘贴几个写的比较好的导出地址,如有问题欢迎大家留言交流。

    https://www.cnblogs.com/technologykai/articles/10984878.html

    https://blog.csdn.net/Java_Mrsun/article/details/85678028

     

    本博客只供大家学习交流,禁止使用在其他用途。对于使用在其他用途的自行承担责任与本博客无关,最终解释权归本人所有

    展开全文
  • 前端Excel大文件file slice分片,md5校验文件完整性并作文件标识记录写入数据库,支持断点...文件上传完毕后,使用EasyExcel读取文件流,处理Excel数据写入数据库中,可处理百万级数据。项目完整,连接数据库即可运行。
  • java使用EasyExcel导出百万数据

    千次阅读 2021-02-24 14:33:50
    Maven依赖如下: <dependency>...easyexcel</artifactId> <version>2.1.1</version> </dependency> <dependency> <groupId>org.apache.poi</g

    Maven依赖如下:

           <dependency>
    			<groupId>com.alibaba</groupId>
    			<artifactId>easyexcel</artifactId>
    			<version>2.1.1</version>
    		</dependency>
    		<dependency>
    			<groupId>org.apache.poi</groupId>
    			<artifactId>poi</artifactId>
    			<version>3.17</version>
    		</dependency>
    		<dependency>
    			<groupId>org.apache.poi</groupId>
    			<artifactId>poi-ooxml</artifactId>
    			<version>3.17</version>
    		</dependency>
    Controller:
    package com.excel.demo.controller;
    
    
    import com.alibaba.excel.EasyExcel;
    import com.excel.demo.vo.LedgerreRealFeeVo;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.web.bind.annotation.RequestMapping;
    import org.springframework.web.bind.annotation.RestController;
    
    import java.util.List;
    
    /**
     * @author :Hj
     * @date 2021/2/24 10:50
     */
    @RestController
    @RequestMapping("/person")
    public class PersonControl {
        @Autowired
        private LedgerRealFeeService feeService;
    
        @RequestMapping(value = "/getData")
        public String test(){
            //获取数据
            List<LedgerreRealFeeVo> realFeeVos= feeService.getDataVo();
            String filename = "D:\\Data\\Data.xlsx";
            long start = System.currentTimeMillis();
            //关键代码
            EasyExcel.write(filename,LedgerreRealFeeVo.class).sheet("数据").doWrite(realFeeVos);
            long finish = System.currentTimeMillis();
            long timeElapsed=finish-start;
            System.out.print(timeElapsed);
    
            return "sucess";
        }
    
    }
    

    VO:

    package com.excel.demo.vo;
    
    import com.alibaba.excel.annotation.ExcelProperty;
    
    import java.math.BigDecimal;
    import java.util.Date;
    
    /**
     * @author :Hj
     * @date 2021/2/24 10:47
     */
    public class LedgerreRealFeeVo {
        @ExcelProperty(value = "业务号")
        private Long sno;
        @ExcelProperty(value = "任务号")
        private String taskId;
        @ExcelProperty(value = "类型")
        private String certiType;
        @ExcelProperty(value = "人员代码")
        private String agentCode;
        @ExcelProperty(value = "机构")
        private String comCode;
        @ExcelProperty(value = "业务性质")
        private String businessNature;
        @ExcelProperty(value = "团队代码")
         private String teamCode;
        @ExcelProperty(value = "团队名称")
         private String teamName;
        @ExcelProperty(value = "日期")
        private Date realPayDate;
        @ExcelProperty(value = "afee")
        private BigDecimal afee;
        @ExcelProperty(value = "bfee")
        private BigDecimal bfee;
        @ExcelProperty(value = "cfee")
        private BigDecimal cfee;
    
        public Long getSno() {
            return sno;
        }
    
        public void setSno(Long sno) {
            this.sno = sno;
        }
    
        public String getTaskId() {
            return taskId;
        }
    
        public void setTaskId(String taskId) {
            this.taskId = taskId;
        }
    
        public String getCertiType() {
            return certiType;
        }
    
        public void setCertiType(String certiType) {
            this.certiType = certiType;
        }
    
        public String getAgentCode() {
            return agentCode;
        }
    
        public void setAgentCode(String agentCode) {
            this.agentCode = agentCode;
        }
    
        public String getComCode() {
            return comCode;
        }
    
        public void setComCode(String comCode) {
            this.comCode = comCode;
        }
    
        public String getBusinessNature() {
            return businessNature;
        }
    
        public void setBusinessNature(String businessNature) {
            this.businessNature = businessNature;
        }
    
        public String getTeamCode() {
            return teamCode;
        }
    
        public void setTeamCode(String teamCode) {
            this.teamCode = teamCode;
        }
    
        public String getTeamName() {
            return teamName;
        }
    
        public void setTeamName(String teamName) {
            this.teamName = teamName;
        }
    
        public Date getRealPayDate() {
            return realPayDate;
        }
    
        public void setRealPayDate(Date realPayDate) {
            this.realPayDate = realPayDate;
        }
    
        public BigDecimal getAfee() {
            return afee;
        }
    
        public void setAfee(BigDecimal afee) {
            this.afee = afee;
        }
    
        public BigDecimal getBfee() {
            return bfee;
        }
    
        public void setBfee(BigDecimal bfee) {
            this.bfee = bfee;
        }
    
        public BigDecimal getCfee() {
            return cfee;
        }
    
        public void setCfee(BigDecimal cfee) {
            this.cfee = cfee;
        }
    }
    

    1000960行数据耗时:

     

    展开全文
  • 对于百万级数据如果一下查出来是会内存溢出的,所以需要分页查出来,分页放到excel表格中 直接上我写的代码:excel表头类就不沾出来了,每个人的都不一样 /** * 导出excel * */ @RequestMapping("/export") @...
  • xlsx百万级模板数据导出,可以使用8M内存模板导出excel. easypoi和hutool对07版本的excel都没有提供模板导出,因此个人封装了下(原创)。 目前支持的模板表达式有 #if:表达式不成立则不输出#if #end中的行 #each ...
  • easyExcel 2.1.7 poi 3.17 springboot 2.2.5 lombok 1.18.12
  • EasyExcel文件导出
  • 阿里巴巴easyExcel实现大数据导出!!
  • System.out.println(“导出完成”); } catch (Exception e) { e.printStackTrace(); } } public void download() throws Exception { int totalCount= 2000001;// 查询数据库数据总量,假设 200万数据,分2个sheet...
  • EasyExcel 百万级别数据高效率导入/导出
  • 需求:使用excel一次导入100万条数据,分页导出100万条数据并生成excel文件 导入流程:用户上传文件-->后端获取文件流-->侦听器读取文件-->批量插入数据库 导出流程:用户点击按钮-->调用后端接口-->分页查询需要...
  • EasyExcel导出.txt

    2021-11-04 11:53:48
    EasyExcel 导出,含动态表头导出
  • 调整idea运行内存大小 1、右击快捷方式,打开文件所在位置 2、修改idea.exe.vmoptions配置
  • https://github.com/wojozer/easyexcel-demo
  • easyExcel导出合并单元格策略 WriteSheet writeSheet = EasyExcel.writerSheet(i, "Sheet" + (i + 1)) .registerWriteHandler(new CustomCellWriteHandler()) //设置合并单元格策略 .registerWriteHandler(new ...
  • 百万级数据EXCEL导出--easyexcel

    万次阅读 热门讨论 2019-01-03 10:06:51
    easyexcel 项目git地址为: https://github.com/alibaba/easyexcel 官方使用指南见: https://github.com/alibaba/easyexcel/blob/master/quickstart.md 官方介绍:Java解析、生成Excel比较有名的框架有Apache poi...
  • 记录一次Easy Excel 导出百万级数据功能优化及分页查询sql优化 前言 ​ 业务需求,需要一起将40多万条数据导出成 Excel。所以在技术选型上就是用了阿里巴巴的 Easy Excel ,因为官网是这么介绍的EasyExcel是一个...
  • 阿里EasyExcel导出案例

    2022-01-19 14:24:45
    阿里EasyExcel导出案例
  • 用开源 Apache POI 技术导出Excel,解决导出大数据出现OOM、栈溢出问题,此资源可实现百万级数据多线程分批导出Excel文件,不会内存溢出,生产环境已很稳定的使用者,所以用到的技术很核心、值得参考
  • EasyExcel导出动态表头处理

    千次阅读 2022-03-26 16:20:23
    以前做导出功能,表头和数据都是固定的。使用EasyExcel实体类上注解的方式就是。比如这样 @Getter @Setter @EqualsAndHashCode public class DemoData { @ExcelProperty("姓名") private String name; @...
  • easyExcel 导出海量数据

    千次阅读 2021-09-28 17:11:20
    easyExcel 导出百万数据
  • 基于easyExcel数据导出功能的实现及部分注解的补充
  • 最近项目有导出数据到excel功能,于是觉得很轻松的写了下面代码 @ApiOperation(value = "万数据导出") @RequestMapping(value = "/export1",method = RequestMethod.GET) public void exportExcel1...
  • EasyExcel导出大量数据

    千次阅读 2021-08-25 11:35:11
    1:EasyExcel导出数据 2:查询时分sheet页查询写入 3:自定义导出格式 1:pom文件: <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> &...
  • 踩坑:EasyExcel导出excel导出数据为空

    千次阅读 2021-11-24 17:22:42
    我再java代码中导出excel导出数据为空如下图 问题探究 经过断点排查数据 发现数据取出来了 那么问题就不在取数据而在数据写入部分 经过排查翻阅博客发现了这么一句话 读写反射对象用到了Cglib,所以成员变量...
  • 基于EasyExcel进行大数据文件下载。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 5,529
精华内容 2,211
关键字:

easyexcel导出百万级数据

友情链接: gaosixiaoyuan.rar