本文章介绍了用mysql into outfile命令来导入指定表中指定数据的方法。
 
按条件导出mysql表的数据：
 
代码如下
 
theyestoday=`date -d “-1 day” +%y%m%d` #前天日期
 
#将查询语句写入sql文件
 
linux中导出
 
代码如下
 
echo “SELECT NULL, coder, clicknum, time FROM stat.yl_clicks WHERE time = unix_timestamp(‘$theyestoday2 00:00:00′) into outfile ‘/var/lib/mysql/stat/yl_clicks.sql’;” > cmd_yl_clicks.sql
 
window系统下导出
 
代码如下
 
SELECT ITEM1_1,ID,ITEM2_1,ITEM11_1,ITEM9_1,ITEM7_1,ITEM8_1,ITEM4_1,ITEM4_2,ITEM6_1,ITEM6_2,ITEM5_1,ITEM5_2,ITEM5_3,ITEM5_4,ITEM5_5,ITEM5_6,ITEM5_7 FROM `ID_7_vote_insert` WHERE `VoteID`='7' order by ITEM1_1 asc into outfile '/tmp/test_new.txt' fields terminated by ',' enclosed by '"';
 
#删除上次生成的
 
代码如下
 
rm -rf /var/lib/mysql/stat/yl_clicks.sql
 
#执行sql文件中的语句
 
代码如下
 
mysql -u用户名 -p密码 -hlocalhost < cmd_yl_clicks.sql
 
#执行完成后将生成查下结果数据文件 yl_clicks.sql
 
导入数据
 
#导入数据并生成导入日志(记录的导入的数据情况，如导入多少条记录)
 
代码如下
 
mysqlimport -u用户名 -p密码 -f -i stat “D:systemMySqlMySQL Server 5.0datastatyl_clicks.sql” >> Synchronization2.log
 
总结：
 
字符串要处理好，不然容易出错。
 
使用select into outfile "filename"语句，前提必须拥有文件的权限。
 
比如：
 
数据库是mysql
 
代码如下
 
mysql> select * from user into outfile "a.txt";
 
上面就可以完成将表user从数据库中卸到a.txt文件中。注意文件名要加单引号。那么a.txt文件就在mysql目录下有一个 data目录，它即是数据库文件所放的地方。在这里就是mysql下面就会存在一个a.txt的文件。a.txt的内容就是：
 
localhost root *6F7418838FC8B9085D8B2E7484D471E34710F635 Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y 0 0 0 0
 
本条技术文章来源于互联网，如果无意侵犯您的权益请点击此处反馈版权投诉
 
本文系统来源：php中文网

情景：我们在做项目中，有个20万左右的数据要导出来，我们查出数据库要导出的话，系统就卡死了，
 我们分批查询，分批导出
 
public void exportDmfAll(HttpServletResponse response,ProcessCompletionVo vo) {
 
    ExcelWriter excelWriter = null;
    try {
        String fileName = "数据导出";
        response.setContentType("application/vnd.ms-excel");
        response.setCharacterEncoding("utf-8");
        response.setHeader("Content-disposition", "attachment;filename=" +
                new String(fileName.getBytes("UTF-8"), "ISO8859-1") + ".xlsx");
        excelWriter = EasyExcel.write(response.getOutputStream()).build();

        Integer page = 1;
        while (true) {
            vo.setPageNum(page);
            vo.setPageCount(5000);
            R r = this.getBusinessArea(vo);

            List<DmFbillprocessNodeDetailModel> list = ((Page<DmFbillprocessNodeDetailModel>) r.get("data")).getContent();
            if (list.size()==0) {
                return;
            }
            R typeFlagR = getTypeFlagByBill(vo.getProcessName());
            String typeFlag = "";
            if (!ObjectUtils.isEmpty(typeFlagR.get("business_type"))) {
                typeFlag = String.valueOf(typeFlagR.get("business_type"));
            }
            //if ("国内".equals(typeFlag)) {
            List<DmfAllExcelOne> listResult = new ArrayList<>();

            for (DmFbillprocessNodeDetailModel dmFprocessNodeReportModel : list) {
                DmfAllExcelOne excel = new DmfAllExcelOne();
                BeanUtils.copyProperties(dmFprocessNodeReportModel, excel);
                listResult.add(excel);
            }
            WriteSheet writeSheet = EasyExcel.writerSheet(page - 1, "数据导出" + (page)).head(DmfAllExcelOne.class)
                    .registerWriteHandler(new LongestMatchColumnWidthStyleStrategy()).build();
            excelWriter.write(listResult, writeSheet);
            //}
           

            page = page + 1;

        }

    } catch (IOException e) {
        e.printStackTrace();
        log.error("导出失败[{}]", e.getMessage());
    } finally {
        excelWriter.finish();
    }


}
 
大家有不明白的可以留言，或者有更好的方法，可以直接联系我，本人十分感谢~

前言
 
 
相信小伙伴们工作当中肯定会经常遇到导出数据的需求，做这个导出需求的话相信大家肯定很多人用easypoi工具包，这个工具包用起来是真的方便，爽。但是如果数据量大，产品又要你导出很多数据，这时候就不爽了，因为如果数据量大的话，服务器配置又不是很高，那么很容易就把服务器导挂了。今天就教大家一招（有能力的小伙伴也可以自行研究使用其它方式优化导出），使用mybatis/mybatis-plus中的流式查询结合阿里的easyexcel做到一边查询一边写入流的方式优化大量数据导出，这样做写入流后的数据内存就可以释放出来，从而降低jvm的内存使用率。
 
测试
 
普通导出，JVM垃圾回收图
 
 
看看代码：
 
@RestController
@RequestMapping("/order")
@Slf4j
public class OrderController {
    @Autowired
    private IOrderService orderService;

    @GetMapping("/commonExport")
    // http://localhost:9091/api-dev/order/commonExport?orderStatus=2
    public void commonExport(QueryOrderDTO queryDTO, HttpServletResponse response) throws InterruptedException {
        log.info("======>start download excel");
        long start = System.currentTimeMillis();
        List<Order> orderList = orderService.lambdaQuery()
            .eq(Objects.nonNull(queryDTO.getOrderStatus()), Order::getOrderStatus, queryDTO.getOrderStatus()).list();
        log.info("======>date query end! begin export");
        ExcelUtil.exportExcel("订单信息表","订单信息表","订单信息表",orderList, Order.class,response);
        log.info("======>end download excel,use time is {} 秒", (System.currentTimeMillis()-start)/1000.0);
        Thread.sleep(10000);
        System.gc();
    }
}
 
导出66万多条数据，从查询到导出一共花了141.327秒
 
在看一下jvm垃圾回收状态：

 可以看出，eden区垃圾回收很均匀，而且很快。old区的空间也是在均匀的增加。
 
直接看一下视频：
 

 
 
kk 2021-07-27 18-28-29
 
流式查询，JVM垃圾回收图
 
 
先看代码：
 
@RestController
@RequestMapping("/order")
@Slf4j
public class OrderController {
    @Autowired
    private IOrderService orderService;

    @GetMapping("/streamExport")
    // http://localhost:9091/api-dev/order/streamExport?orderStatus=2
    public void streamExport(QueryOrderDTO queryDTO, HttpServletResponse response) throws IOException {
        ServletOutputStream out = null;
        try {
            // 生成EXCEL并指定输出路径
            out = response.getOutputStream();
            ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);
            // 设置EXCEL名称
            String fileName = new String(("订单信息").getBytes(), "UTF-8");
            // 设置SHEET
            Sheet sheet = new Sheet(1, 0);
            sheet.setSheetName("订单信息");
            // 设置标题
            Table table = new Table(1);
            List<List<String>> titles = new ArrayList<List<String>>();
            titles.add(Arrays.asList("ID"));
            titles.add(Arrays.asList("创建人"));
            titles.add(Arrays.asList("修改人"));
            titles.add(Arrays.asList("创建时间"));
            titles.add(Arrays.asList("修改时间"));
            titles.add(Arrays.asList("订单ID"));
            titles.add(Arrays.asList("订单金额"));
            titles.add(Arrays.asList("支付时间"));
            titles.add(Arrays.asList("订单状态"));
            table.setHead(titles);
            log.info("======>stream export excel start excel");
            response.setHeader("Content-Disposition", "attachment;filename=" + new String((fileName).getBytes("gb2312"), "ISO-8859-1") + ".xlsx");
            response.setContentType("multipart/form-data");
            response.setCharacterEncoding("utf-8");
            long start = System.currentTimeMillis();
            List<List<String>> orderList = new ArrayList<>(1);
            orderService.streamQuery(queryDTO, new ResultHandler<Order>() {
                @SneakyThrows
                @Override
                public void handleResult(ResultContext<? extends Order> resultContext) {
                    Order order = resultContext.getResultObject();
                    orderList.add(Arrays.asList(
                        order.getId().toString(),order.getCreator(),order.getEditor(),order.getCreateTime().toString(),
                        order.getOrderId(),order.getAmount().toString(),order.getPaymentTime().toString(),order.getOrderStatus().toString()));
                        writer.write0(orderList, sheet, table);
                    orderList.clear();
                }
            });
            writer.finish();
            out.flush();
            log.info("======>date query end! begin export");
            log.info("======>end download excel,use time is {} 秒", (System.currentTimeMillis()-start)/1000.0);
        } finally {
            if (out != null) {
                try {
                    out.close();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }

    }
}
 
再补充一下streamQuery方法的实现：
 
public interface OrderMapper extends BaseMapper<Order> {

    @Select("select t.* from t_order t where t.order_status = #{map.orderStatus}")
    @Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = Integer.MIN_VALUE)
    @ResultType(Order.class)
    void streamQuery(@Param("map") QueryOrderDTO queryDTO, ResultHandler<Order> handler);
}
 
同样导出66万多条数据，从查询到导出一共花了55.465秒
 同样看一下流式导出jvm垃圾回收状态：

 可以看出，eden区垃圾回收也很均匀，比普通导出更快。old区的空间也是在均匀的增加。但是流式导出eden区占用的内存并不像普通导出那样越来越大。始终稳定维持在最高280M，s0 和 s1 区则更小，都远远小于普通导出。
 看一下视频：
 

 
 
kk 2021-07-27 18-35-13
 
OOM测试
 
接下来，把jvm最大内存固定，我就设置500M吧。看哪一种会导致OOM。
 
 
普通查询导出
 

 
 
kk 2021-07-29 19-39-25
 
可以看出，普通查询导出的full gc频率很高，eden区，old区内存都用满释放不出来了。所以内存小的话普通查询导出是会导致oom的。
 
流式查询导出
 
废话不多说，相同内存分配配置，直接看视频：
 

 
 
kk 2021-07-29 19-51-13
 
从视频可以看出，流式查询导出没有oom，只是时间有点慢，导出60w数据花了182.378 秒，但是比起程序oom来说，多花点时间也不是啥大事。谁让我们配置内存太小了呢。视频中eden区和old区的内存占用都非常稳定。而且 占用的内存很小 ，流式查询导出大量数据还是很有优势的。
 后来我又 测试了分配300M内存 ，普通导出一会就跪了，流式查询居然还能正常导出。只是时间要长一些，不得不说流式查询导出大数据真的很强大啊！！！
 
结论
 
通过以上实验可以得出，需要导出大量数据的情况下，使用普通查询导出是因为一次性把所有数据查询出来放在集合中，这时候gc释放不了这一部分内存，就会是堆内存用尽导致程序oom。使 用mybatis的流式查询配合alibaba的easypoi 工具， 一边查询一边导出 ，这样用过的数据写入流之后就可以gc回收掉内存空间，使内存得到合理应用， 避免了oom的发生 。
 
最后
 
我后来把导出封装了一下，配合阿里的easyexcel写了一个通用工具类，导出是真的方便！贴一下工具类代码及使用demo：
 
CommonResultHandler通用抽象类：
 
import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.ExcelWriter;
import com.alibaba.excel.write.metadata.WriteSheet;
import lombok.Getter;
import lombok.SneakyThrows;
import org.apache.ibatis.session.ResultContext;
import org.apache.ibatis.session.ResultHandler;

import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

/**
 * @Description:
 * @Date: 2021/7/28 10:22
 */
@Getter
public abstract class CommonResultHandler<T> implements ResultHandler<T> {

    protected final HttpServletResponse response;

    protected final ExcelWriter writer;

    protected WriteSheet sheet;

    protected final List<T> rowDataList;

    public CommonResultHandler(HttpServletResponse response, Class<? extends T> clazz) throws IOException {
        this.response = response;
        this.writer = EasyExcel.write(response.getOutputStream(), clazz).build();
        rowDataList = new ArrayList<>(1);
        this.initSheet();
    }


    public void initSheet(){
        this.sheet = EasyExcel.writerSheet().build();
    }

    @Override
    @SneakyThrows
    public void handleResult(ResultContext<? extends T> resultContext){
        T obj = resultContext.getResultObject();
        rowDataList.add(processing(obj));
        writer.write(rowDataList,sheet);
        rowDataList.clear();
    }

    public abstract T processing(T t);
}
 
导出工具类StremExportUtil：
 
import javax.servlet.ServletOutputStream;
import javax.servlet.http.HttpServletResponse;
import java.io.IOException;

/**
 * @Description:
 * @Date: 2021/7/28 10:14
 */
public class StremExportUtil {

    static ServletOutputStream out = null;

    public static void download(String fileName, CommonResultHandler resultHandler) throws IOException {
        try {
            init(fileName, resultHandler.getResponse());
            resultHandler.getWriter().finish();
            out.flush();
        } finally {
            if (out != null) {
                try {
                    out.close();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }
    }

    public static void init(String fileName, HttpServletResponse response) throws IOException {
        out = response.getOutputStream();
        response.setHeader("Content-Disposition", "attachment;filename=" + new String((fileName).getBytes("gb2312"), "ISO-8859-1") + ".xlsx");
        response.setContentType("multipart/form-data");
        response.setCharacterEncoding("utf-8");
    }
}
 
使用demo：
 
@GetMapping("/utilExport")
public void utilExport(QueryOrderDTO queryDTO, HttpServletResponse response) throws IOException {
    CommonResultHandler resultHandler = new CommonResultHandler<Order>(response, Order.class) {
        @Override
        public Order processing(Order order) {
            return order;
        }
    };
    orderService.streamQuery(queryDTO, resultHandler);
    StremExportUtil.download("hello", resultHandler);
}
 
再看看streamQuery 方法实现：
 
public interface OrderMapper extends BaseMapper<Order> {
    @Select("select t.* from t_order t where t.order_status = #{map.orderStatus}")
    @Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = Integer.MIN_VALUE)
    @ResultType(Order.class)
    void streamQuery(@Param("map") QueryOrderDTO queryDTO, ResultHandler<Order> handler);
}
 
好了，今天的文章就分享到这里，如果有不明白的地方欢迎留言探讨，我会第一时间回复！小伙伴们帮忙点赞哦！

 
maven地址为:
 
org.apache.poi
 
poi-ooxml
 
3.17
 
好了，废话不多少，上代码
 
jsp前端代码(根据自己的业务来)
 

 

  
时间：
  
 -
  
消费类型：
  
所有
  
报名费
  
酒水零食类
  
支付状态：
  
所有
  
未支付
  
已支付
  

  
data-options="iconCls:'icon-search'" style="margin-left:10px">查询
  
  (查询出来的数据可统计)
  
导出表
 
 
$(function() {
 
//导出excel表
 
$('#consumesOutExcel').on('click',function(){
 
exportExcel();
 
});
 
});
 
function exportExcel() {
 
$.messager.confirm('确认', '确认把该搜索结果导出Excel表格 ？', function(r) {
 
if (r) {
 
var startTime = $('#startDateConsume').val();
 
var endTime = $('#endDateConsume').val();
 
var consumesType = $('#consumesType').val();
 
var conPaymentStatus = $('#conPaymentStatus').val();
 
$.messager.progress({
 
title : '处理中',
 
msg : '请稍后',
 
});
 
$.messager.progress('close');
 
location.href="web/vip/exportExcel.xlsx?startTime="+startTime+"&endTime="+endTime+"&consumesType="+consumesType+"&conPaymentStatus="+conPaymentStatus;
 
}
 
});
 
} 
 
java后端代码:
 
@Controller
 
@RequestMapping("/vip")
 
public class VipController {
 
//文件下载：导出excel表
 
@RequestMapping(value = "/exportExcel.xlsx",method = RequestMethod.GET)
 
@ResponseBody
 
public void exportExcel(HttpServletRequest request,HttpServletResponse response) throws UnsupportedEncodingException{
 
//一、从后台拿数据
 
if (null == request || null == response)
 
{
 
return;
 
}
 
List list = null;
 
String startTime = request.getParameter("startTime");
 
String endTime = request.getParameter("endTime");
 
int consumesType = Integer.parseInt(request.getParameter("consumesType"));
 
int conPaymentStatus =Integer.parseInt(request.getParameter("conPaymentStatus"));
 
VipConsumesExample example = new VipConsumesExample();
 
if(consumesType!=0 && conPaymentStatus!=0){
 
example.createCriteria().andTimeBetween(startTime, endTime).andConsumeTypeEqualTo(consumesType).andStatusEqualTo(conPaymentStatus);
 
}else if(consumesType ==0 && conPaymentStatus!=0) {
 
example.createCriteria().andTimeBetween(startTime, endTime).andStatusEqualTo(conPaymentStatus);
 
}else if(consumesType!=0 && conPaymentStatus==0){
 
example.createCriteria().andTimeBetween(startTime, endTime).andConsumeTypeEqualTo(consumesType);
 
}else {
 
example.createCriteria().andTimeBetween(startTime, endTime);
 
}
 
list = this.vipConsumesDao.selectByExample(example);
 
//二、 数据转成excel
 
request.setCharacterEncoding("UTF-8");
 
response.setCharacterEncoding("UTF-8");
 
response.setContentType("application/x-download");
 
String fileName = "消费记录.xlsx";
 
fileName = URLEncoder.encode(fileName, "UTF-8");
 
response.addHeader("Content-Disposition", "attachment;filename=" + fileName);
 
// 第一步：定义一个新的工作簿
 
XSSFWorkbook wb = new XSSFWorkbook();
 
// 第二步：创建一个Sheet页
 
XSSFSheet sheet = wb.createSheet("startTimeendTime");
 
sheet.setDefaultRowHeight((short) (2 * 256));//设置行高
 
sheet.setColumnWidth(0, 4000);//设置列宽
 
sheet.setColumnWidth(1,5500);
 
sheet.setColumnWidth(2,5500);
 
sheet.setColumnWidth(3,5500);
 
sheet.setColumnWidth(11,3000);
 
sheet.setColumnWidth(12,3000);
 
sheet.setColumnWidth(13,3000);
 
XSSFFont font = wb.createFont();
 
font.setFontName("宋体");
 
font.setFontHeightInPoints((short) 16);
 
XSSFRow row = sheet.createRow(0);
 
XSSFCell cell = row.createCell(0);
 
cell.setCellValue("流水号 ");
 
cell = row.createCell(1);
 
cell.setCellValue("微信名 ");
 
cell = row.createCell(2);
 
cell.setCellValue("微信订单号");
 
cell = row.createCell(3);
 
cell.setCellValue("消费时间");
 
cell = row.createCell(4);
 
cell.setCellValue("消费类型");
 
cell = row.createCell(5);
 
cell.setCellValue("剩余积分 ");
 
cell = row.createCell(6);
 
cell.setCellValue("新增积分 ");
 
cell = row.createCell(7);
 
cell.setCellValue("扣除积分 ");
 
cell = row.createCell(8);
 
cell.setCellValue("消费金额");
 
cell = row.createCell(9);
 
cell.setCellValue("支付方式");
 
cell = row.createCell(10);
 
cell.setCellValue("支付状态 ");
 
cell = row.createCell(11);
 
cell.setCellValue("钱包原始金额");
 
cell = row.createCell(12);
 
cell.setCellValue("钱包扣除金额");
 
cell = row.createCell(13);
 
cell.setCellValue("钱包剩余金额");
 
XSSFRow rows;
 
XSSFCell cells;
 
for (int i = 0; i 
 
// 第三步：在这个sheet页里创建一行
 
rows = sheet.createRow(i+1);
 
// 第四步：在该行创建一个单元格
 
cells = rows.createCell(0);
 
// 第五步：在该单元格里设置值
 
cells.setCellValue(list.get(i).getConsumeId());
 
cells = rows.createCell(1);
 
cells.setCellValue(list.get(i).getName());
 
cells = rows.createCell(2);
 
cells.setCellValue(list.get(i).getOrderNumber());
 
cells = rows.createCell(3);
 
cells.setCellValue(list.get(i).getTime());
 
cells = rows.createCell(4);
 
if (list.get(i).getConsumeType() == 2) {
 
cells.setCellValue("酒水零食费");
 
} else {
 
cells.setCellValue("报名费");
 
}
 
cells = rows.createCell(5);
 
cells.setCellValue(list.get(i).getIntegral());
 
cells = rows.createCell(6);
 
cells.setCellValue(list.get(i).getIntegralIn());
 
cells = rows.createCell(7);
 
cells.setCellValue(list.get(i).getIntegralOut());
 
cells = rows.createCell(8);
 
cells.setCellValue(list.get(i).getMoney());
 
cells = rows.createCell(9);
 
if (list.get(i).getPayment() == 2) {
 
cells.setCellValue("积分抵现");
 
} else if (list.get(i).getPayment() == 3) {
 
cells.setCellValue("微信支付");
 
} else if (list.get(i).getPayment() == 4) {
 
cells.setCellValue("现金");
 
} else if (list.get(i).getPayment() == 1) {
 
cells.setCellValue("钱包");
 
}
 
cells = rows.createCell(10);
 
if (list.get(i).getStatus() == 2) {
 
cells.setCellValue("已支付");
 
} else if (list.get(i).getStatus() == 1) {
 
cells.setCellValue("未支付");
 
}
 
cells = rows.createCell(11);
 
cells.setCellValue(list.get(i).getWalletOriginal());
 
cells = rows.createCell(12);
 
cells.setCellValue(list.get(i).getWalletOut());
 
cells = rows.createCell(13);
 
cells.setCellValue(list.get(i).getWalletSurplus());
 
}
 
try {
 
OutputStream out = response.getOutputStream();
 
wb.write(out);
 
out.close();
 
wb.close();
 
} catch (IOException e) {
 
// TODO Auto-generated catch block
 
e.printStackTrace();
 
}
 
}
 
}
 
摘抄原文：https://blog.csdn.net/xiaoyangsavvy/article/details/80239210