精华内容
下载资源
问答
  • java jdbc导出数据库大量数据

    千次阅读 2018-11-04 20:15:41
    java 导出数据库数据,在数据量比较大的情况下,如果全部将数据读到内存中再执行写文件,很容易遇到内存溢出;为了避免内存溢出的问题,可以尝试两种方式: 分页查询,每页写一次文件 使用游标的方式,边读边写 ...

    背景

    java 导出数据库数据,在数据量比较大的情况下,如果全部将数据读到内存中再执行写文件,很容易遇到内存溢出;为了避免内存溢出的问题,使用游标的方式,边读边写;

    分页的方式,当数据量较大的情况下,需要花费一些建立数据库连接的消耗,而且存在事务的问题,比如导出第二页数据的时候,在第一页插入了内容,那么第二页就会导出重复的数据,也不是很推荐,所以可以尝试使用游标的方式;

    数据准备

    BEGIN
    	FOR i IN 1..2000000
    	LOOP
    -- 	插入数据SQL
    	INSERT INTO ......
    -- 	
    IF
    	i MOD 10000 = 0 THEN
    	COMMIT;
    
    END IF;
    
    END LOOP;
    END;
    

    通过循环的方式插入200W数据,为了提高插入效率,1万条提交一次;

    导出数据方法

    import lombok.extern.slf4j.Slf4j;
    import org.junit.Test;
    
    import java.io.*;
    import java.sql.*;
    import java.util.LinkedList;
    import java.util.List;
    
    @Slf4j
    public class DataExportTest {
    
    
        public static final String URL = "jdbc:oracle:thin:@127.0.0.1:1521:xe";
        public static final String DRIVER = "oracle.jdbc.OracleDriver";
        public static final String PASSWORD = "youdasi";
        public static final String USERNAME = "youdasi";
    
        @Test
        public void exportTest() throws Exception {
    
            //初始化数据库连接
            Connection connection = initConnection();
            Statement statement = connection.createStatement();
    
            //FETCH_SIZE 的大小视具体情况而定
            statement.setFetchSize(1000);
    
            ResultSet resultSet = statement.executeQuery("SELECT * FROM TEST");
            ResultSetMetaData metaData = resultSet.getMetaData();
            
            long begin = System.currentTimeMillis();
            //数据库每行数据
            StringBuilder rowData = new StringBuilder();
    
            //单次写入文件的数据(可以删掉)
            List<String> pageData = new LinkedList<String>();
    
            //result 为数据库
            int j = 0;
            int num = metaData.getColumnCount();
            while (resultSet.next()){
                j++;
                //组装单行数据
                for (int i = 1; i< num ; i++){
                    Object object = resultSet.getObject(i);
                    if (null != object){
                        rowData.append(object.toString());
                    }
                    rowData.append("|");
                }
    
                pageData.add(rowData.toString());//添加到写文件集合
                rowData.setLength(0);//清空行数据
    
                //10W条数据写一次,视情况而定
                if (j % 100000 == 0){
                    log.info(j + "");
                    writeFile(pageData,"C:/temp/dat/test.dat");//写数据
                    pageData.clear(); //清空list
                }
            }
    
            if (j % 100000 != 0){
                writeFile(pageData,"C:/temp/dat/test.dat");//写数据
            }
    
            long end = System.currentTimeMillis();
            log.info("time: {}",end - begin);
        }
    
    
        /**
         * 初始化数据库连接
         */
        private Connection initConnection(){
    
            Connection connection = null;
    
            try {
                Class.forName(DRIVER);
                connection = DriverManager.getConnection(URL, USERNAME, PASSWORD);
            } catch (ClassNotFoundException e) {
                log.error("error load jdbc driver");
            } catch (SQLException e) {
                log.error("error get connection");
            }
            return connection;
        }
    
        /**
         * 写数据到文件
         */
        private void writeFile(List<String> data,String path) throws IOException {
    
            if (null == data || data.size() == 0){
                return;
            }
    
            File file = new File(path);
    
            if (!file.exists()){
                file.createNewFile();
            }
    
            FileOutputStream fileOutputStream = new FileOutputStream(path, true);
            OutputStreamWriter write = new OutputStreamWriter(fileOutputStream, "UTF-8");
            BufferedWriter writer = new BufferedWriter(write);
            for (String str:data){
                writer.write(str);
                writer.flush();
            }
            writer.close();
            write.close();
            fileOutputStream.close();
        }
    
    }
    

    代码中,有下面几个地方可以思考下:

    • FETCH_SIZE 取多大合适,我本地虚拟机docker起的ORACLE数据库,测试出1000比较合适,但是还是需要自己测试选择合适的;
    • PAGE_SIZE 取多少合适,也是需要视情况而定
    • 可以看出代码中有List pageData,这个其实可以直接省略掉,只用一个String,这样做其实只是让逻辑看起来清楚些,但是损耗了性能
    • 写文件的方法,每次新建了流再关闭,其实可以使用一个流,每次flush,最后一次再关闭就可以了,这样也可以提升部分效率
    • 代码中存在字符串的拼接,这个其实可以放到SQL中来做,这样就把字符拼接的工作从程序转移到数据库,至于哪个更好,不确定
    SELECT '字段名'||'字段名' AS RES_STR FROM '表名' WHERE ...;
    
    • 游标读取数据的时候,有用map封装的情况,改成数组效率会高很多,比如
            List<Map<Integer, String>> bufferData = new LinkedList<>();
                int rowNum = 0;
                while (resultSet.next()) {
                    rowNum++;
                    Map<Integer, String> rowData = new HashMap<>(num);
                    for (int i = 1; i < num; i++) {
                        rowData.put(i, resultSet.getString(i));
                    }
                    bufferData.add(rowData);
    
                }
    

    改为

                List<String[]> bufferData = new LinkedList<>();
                int rowNum = 0;
                while (resultSet.next()) {
                    String[] rowData = new String[num];
                    rowNum++;
                    for (int i = 1; i < num; i++) {
                        rowData[i] = resultSet.getString(i);
                    }
                    bufferData.add(rowData);
    
                }
    

    最终运行结果

    • 导出纪录数:200W
    • 导出文件大小:544 MB
    • 耗时 :29079ms=29s

    代码

    https://gitee.com/youdasixls/jdbc_export

    展开全文
  • 主要介绍了Java实现从数据库导出大量数据记录并保存到文件的方法,涉及Java针对数据库的读取及文件写入等操作技巧,具有一定参考借鉴价值,需要的朋友可以参考下
  • 获取通话记录文件格式vcf的转化,JAVA实现数据库数据导入/导出到Excel(POI)
  • 使用Java导出orcale数据库dmp文件完成备份,有需要的可以直接拿过去用,缺点就是导出速度比较慢
  • NULL 博文链接:https://zhouwenjun.iteye.com/blog/526159
  • 主要为大家详细介绍了java导出数据库中Excel表格数据的方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
  • JAVA实现数据库数据导入导出到Excel(POI)所需jar包
  • 使用Hibernate操作数据库,将数据库的表数据导出到Excel文件中
  • NULL 博文链接:https://a1b19pm.iteye.com/blog/2431553
  • 1.导出Oracle数据库 package cn.hyk.www.util; import java.io.File; import java.io.IOException; public class ExportOracle { /** * @param userName 用户名 * @param password 密码 * @param host ...

    1.导出Oracle数据库

    package cn.hyk.www.util;
    
    import java.io.File;
    import java.io.IOException;
    
    public class ExportOracle {
    
    	/**
    	 * @param userName	用户名
    	 * @param password	密码
    	 * @param host	数据库所在地址
    	 * @param savePath	保存路径
    	 * @param fileName	保存文件名
    	 */
    	public static boolean Export(String userName, String passWord, String host, String savePath, String fileName){
    		File saveFile = new File(savePath);
    		if (!saveFile.exists()) {// 如果目录不存在
    			saveFile.mkdirs();// 创建文件夹
    		}
    		try {
    			StringBuffer sb = new StringBuffer("cmd /k exp ");
    			sb.append(userName + "/" + passWord + "@" + host);
    			sb.append(" file=" + savePath + "/" + fileName + ".dmp");
    			//拼接效果: cmd /k exp wy/wy@192.168.123.111:1521/orcl file=E:/oracle/wy.dmp
    			//使用cmd命令导出数据库
    			Runtime.getRuntime().exec(sb.toString());
    		} catch (IOException e) {
    			e.printStackTrace();
    			return false;
    		}
    		return true;
    	}
    
    	public static void main(String[] args){
    		String userName="wy";
    		String passWord="wy";
    		String host="192.168.123.111:1521/orcl";
    		String savePath="E:/oracle";
    		String fileName="wy";
    		if (ExportOracle.Export(userName, passWord, host, savePath, fileName)) {
    			System.out.println("数据库备份成功!!!");
    		} else {
    			System.out.println("数据库备份失败!!!");
    		}
    	}
    
    }
    


    2.导出MySQL数据库

    mysql导出的话需要用到mysql的工具,直接使用下面方法的话需要在电脑上配置系统变量path,以便可以直接使用mysql工具。

    配置方法如下:

    我的mysql安装路径为:C:\Program Files\MySQL\MySQL Server 5.6\bin

    右键我的电脑,打开属性面板,选择高级系统设置,打开环境变量面板,找到系统变量中的path,点击编辑,将mysql工具文件夹添加到里面(即上面的bin目录)

    然后,我们就可以使用下面的java方法导出mysql数据库:

    package cn.hyk.www.util;
    
    import java.io.File;
    import java.io.IOException;
    
    public class ExportMySQL {
    
    	/**
    	 * @param host	需要导出的数据库地址
    	 * @param userName	用户名
    	 * @param passWord	密码
    	 * @param dataBase	数据库名称
    	 * @param savePath	保存路径
    	 * @param fileName	文件名称
    	 */
    	public static boolean Export(String host, String userName, String passWord, String dataBase, String savePath,
    			String fileName) {
    		try {
    			File saveFile = new File(savePath);  
    	        if (!saveFile.exists()) {// 如果目录不存在  
    	            saveFile.mkdirs();// 创建文件夹  
    	        } 
    			StringBuffer sb = new StringBuffer("cmd /k");
    			sb.append(" mysqldump -h" + host);
    			sb.append(" -u" + userName);
    			sb.append(" -p" + passWord);
    			sb.append(" " + dataBase);
    			sb.append(" >" + savePath);
    			sb.append("/" + fileName + ".sql");
    			//拼接效果: mysqldump -h192.168.123.128 -ukai -p123456 ycgov >E:/ycgov/ycgov.sql	//设置MySQL导出
    			//使用cmd命令导出数据库
    			Runtime.getRuntime().exec(sb.toString());
    		} catch (IOException e) {
    			e.printStackTrace();
    			return false;
    		}
    
    		return true;
    	}
    
    	public static void main(String[] args) {
    		//C:\Program Files\MySQL\MySQL Server 5.6\bin	//进入MYSQL工具操作文件夹
    		String host="192.168.123.128";
    		String userName="kai";
    		String passWord="123456";
    		String dataBase="ycgov";
    		String savePath="E:/ycgov";
    		String fileName="ycgov";
    		if(ExportMySQL.Export(host, userName, passWord, dataBase, savePath, fileName)){
    			System.out.println("数据库备份成功!!!");
    		}else{
    			System.out.println("数据库备份失败!!!");
    		}
    	}
    
    }
    

    后记:

    问题:上面的导出MySQL数据库,有时导出的文件一直会是0kb,没有东西。

    原因如下:罪魁祸首是Program Files文件夹的空格,找不到mysqldump工具了。如果你安装的MySQL文件目录没有空格和汉字的话应该不会出现问题。

    解决方法:将bin目录下的mysqldump工具复制一份放到一个盘符下,如C盘根目录。将语句修改一下,字符串拼接的第一句修改为

    sb.append(" C:\\mysqldump -h" + host);



    展开全文
  • 导出订单 button > 我是用maven搭建的项目所以要加入依赖: <!-- poi解析Excel表格依赖. --> <!-- <groupId>org.apache.poi <artifactId>poi-ooxml <version>3.9 </dependency>-->

    1、首先下载工具类:http://download.csdn.net/download/ledzcl/10234291

    2、直接调用工具类的中的export这个方法,放上源码。

    @ResponseBody
    @RequestMapping(value = "/export", method = RequestMethod.GET)
    public void export(HttpServletResponse response, OrderDto dto) {
        RestResponse<List<OrderDto>> restResponse = orderRemoteService.exportOrder(getAccessToken(), dto);
        if (!restResponse.success()) {
            throw new BusinessException(restResponse.getErrorMsg());
        }
        try {
            OutputStream out = response.getOutputStream();
            response.setContentType("application/vnd.ms-excel");
            response.setHeader("Content-disposition", "attachment;filename=" + URLEncoder.encode("商品订单", "UTF-8") + ".xls");
            Collection<Object[]> collection = new ArrayList<>();
            for (OrderDto orderDto : restResponse.getData()) {
                Object[] objects = new Object[11];
                objects[0] = orderDto.getReceiver();
                objects[1] = orderDto.getReceiverPhone();
                objects[2] = orderDto.getMailingMethod();
                objects[3] = orderDto.getMailingAddress();
                objects[4] = orderDto.getReleaseName();
                objects[5] = orderDto.getPayment();
                objects[6] = orderDto.getQuantity();
                objects[7] = orderDto.getPaymentStatus();
                objects[8] = orderDto.getStatus();
                objects[9] = orderDto.getRefundState();
                objects[10] = orderDto.getCreateTime();
                collection.add(objects);
            }
            ExcelUtils.export(collection, "商品订单", new String[]{"收件人", "收件人电话", "发货类型", "发货地址",
                            "产品名称", "总金额", "商品数量", "支付状态", "订单状态", "退款状态", "订单日期"},
                    new int[]{0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10}, restResponse.getData().size(), out);
            out.flush();
            out.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    前端点击下载即可:
    <button οnclick="location.href='export';" class="layui-btn layui-btn-normal">导出订单</button>
    我是用maven搭建的项目所以要加入依赖:
    <!-- poi解析Excel表格依赖. -->
    <!--<dependency>
        <groupId>org.apache.poi</groupId>
        <artifactId>poi-ooxml</artifactId>
        <version>3.9</version>
    </dependency>-->

    展开全文
  • java iText 实现从数据库导出数据到已有的PDF模板
  • 导出 数据库表结 word 加主键 外键
  • 阿里的EasyExcel+Mysql方式实现数据库数据导出生成excel,将excle表里面的数据保存到数据库
  • 背景:由于之前程序是将图片以16进制数的形式直接保存到数据库的。现需要将图片批量导出所以写了下面的简易代码,供大家学习交流使用。...目的:将mssql数据库中类型为image的图片信息,导出到文件(*.jpg)
  • java实现mysql数据库的表导出到excel文件,亲自测试是可以运行的,包含jdbc编程的jar包
  • Java导出Oracle数据库数据

    热门讨论 2010-12-24 12:44:00
    Java导出Oracle数据库数据,java语言执行dmp,imp语句
  • Java 导出数据库表信息生成Word文档

    千次阅读 2019-11-07 09:46:59
    -- ================== 将数据库表信息生成word文档信息所需 ====================== --> <!-- https://mvnrepository.com/artifact/com.lowagie/itext --> <dependency> ...

    一、前言

    最近看见朋友写了一个导出数据库生成word文档的业务,感觉很有意思,研究了一下,这里也拿出来与大家分享一波~

    先来看生成word文档效果吧
    在这里插入图片描述

    下面我们也来一起简单的实现吧

    二、Java 导出数据库表信息生成Word文档

    温馨小提示:下面只是简单的展示一些主要代码,详情可参考文末给出的案例demo源码

    基本环境
    1. spring-boot 2.1.8
    2. mybatis-plus 2.2.0
    3. mysql 数据库

    1、新增依赖

    		<!-- ================== 将数据库表信息生成word文档信息所需 ====================== -->
            <!-- https://mvnrepository.com/artifact/com.lowagie/itext -->
            <dependency>
                <groupId>com.lowagie</groupId>
                <artifactId>itext</artifactId>
                <version>2.1.7</version>
            </dependency>
            <!-- https://mvnrepository.com/artifact/com.itextpdf/itext-asian -->
            <dependency>
                <groupId>com.itextpdf</groupId>
                <artifactId>itext-asian</artifactId>
                <version>5.2.0</version>
            </dependency>
            <!-- https://mvnrepository.com/artifact/com.lowagie/itext-rtf -->
            <dependency>
                <groupId>com.lowagie</groupId>
                <artifactId>itext-rtf</artifactId>
                <version>2.1.7</version>
            </dependency>
    

    2、查询表数据信息

    @Mapper
    public interface TableMapper {
    
        /**
         * 获取指定数据库下所有表名和注释
         *
         * @param dbName:数据库名
         * @return: java.util.List<com.zhengqing.demo.modules.system.entity.Tables>
         */
        @Select("select table_name as name,table_comment as comment from information_schema.tables where table_schema =#{dbName} order by table_name")
        List<Tables> getAllTables(@Param("dbName") String dbName);
    
        /**
         * 获取指定表信息
         *
         * @param tableName:表
         * @return: java.util.List<com.zhengqing.demo.modules.system.entity.TableFileds>
         */
        @Select("SHOW FULL FIELDS FROM ${tableName}")
        List<TableFileds> getTable(@Param("tableName") String tableName);
    
    }
    

    3、生成word文档实现类

    @Service
    public class TableService implements ITableService {
    
        @Autowired
        private TableMapper tableMapper;
        @Autowired
        private TableToWordUtil tableToWordUtil;
    
        @Override
        public String getTableInfo() {
            // 1、获取数据库所有表信息
            List<Tables> tables = tableMapper.getAllTables(Constants.DATABASE);
    
            // 2、生成文件名信息 - 年月日时分秒
            String date = null;
            try {
                date = DateTimeUtils.dateFormat(new Date(), DateTimeUtils.PARSE_PATTERNS[12]);
            } catch (ParseException e) {
                e.printStackTrace();
            }
            String docFileName = Constants.FILE_PATH + "\\" + Constants.FILE_NAME + "-" + date + ".doc";
    
            // 3、调用工具类生成文件
            tableToWordUtil.toWord(tables, docFileName, Constants.FILE_NAME);
    
            // 4、返回文件地址
            String filePath = docFileName.replaceAll("\\\\", "/");
            return filePath;
        }
    }
    
    

    4、其中生成word文档工具类

    @Service
    public class TableToWordUtil {
    
        @Autowired
        TableMapper tableMapper;
    
        /**
         * 生成word文档
         *
         * @param tables:该数据库下所有表信息
         * @param fileName:生成文件地址
         * @param title:文件内容标题
         * @return: void
         */
        public void toWord(List<Tables> tables, String fileName, String title) {
            Document document = new Document(PageSize.A4);
            try {
                // 创建文件夹
                File dir = new File(Constants.FILE_PATH);
                dir.mkdirs();
    
                // 创建文件
                File file = new File(fileName);
                if (file.exists() && file.isFile()) {
                    file.delete();
                }
                file.createNewFile();
    
                // 写入文件信息
                RtfWriter2.getInstance(document, new FileOutputStream(fileName));
                document.open();
                Paragraph ph = new Paragraph();
                Font f = new Font();
                Paragraph p = new Paragraph(title, new Font(Font.NORMAL, 24, Font.BOLDITALIC, new Color(0, 0, 0)));
                p.setAlignment(1);
                document.add(p);
                ph.setFont(f);
                for (int i = 0; i < tables.size(); i++) {
                    String table_name = tables.get(i).getName();
                    String table_comment = tables.get(i).getComment();
                    List<TableFileds> fileds = tableMapper.getTable(tables.get(i).getName());
                    String all = "" + (i + 1) + " 表名称:" + table_name + "(" + table_comment + ")";
                    Table table = new Table(6);
    
                    document.add(new Paragraph(""));
    
                    table.setBorderWidth(1);
                    table.setPadding(0);
                    table.setSpacing(0);
    
                    //添加表头的元素,并设置表头背景的颜色
                    Color chade = new Color(176, 196, 222);
    
                    Cell cell = new Cell("编号");
                    addCell(table, cell, chade);
                    cell = new Cell("字段名");
                    addCell(table, cell, chade);
                    cell = new Cell("类型");
                    addCell(table, cell, chade);
                    cell = new Cell("是否非空");
                    addCell(table, cell, chade);
                    cell = new Cell("是否主键");
                    addCell(table, cell, chade);
                    cell = new Cell("注释");
                    addCell(table, cell, chade);
    
                    table.endHeaders();
    
                    // 表格的主体
                    for (int k = 0; k < fileds.size(); k++) {
                        addContent(table, cell, (k + 1) + "");
                        addContent(table, cell, fileds.get(k).getField());
                        addContent(table, cell, fileds.get(k).getType());
                        addContent(table, cell, fileds.get(k).getNull().equals("YES") ? "否" : "是");
                        addContent(table, cell, fileds.get(k).getKey() != "" ? "是" : "否");
                        addContent(table, cell, fileds.get(k).getComment());
                    }
                    Paragraph pheae = new Paragraph(all);
                    //写入表说明
                    document.add(pheae);
                    //生成表格
                    document.add(table);
                }
                document.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    
        /**
         * 添加表头到表格
         *
         * @param table
         * @param cell
         * @param chade
         */
        private void addCell(Table table, Cell cell, Color chade) {
            cell.setHorizontalAlignment(Element.ALIGN_CENTER);
            cell.setBackgroundColor(chade);
            table.addCell(cell);
        }
    
        /**
         * 添加内容到表格
         *
         * @param table
         * @param content
         */
        private void addContent(Table table, Cell cell, String content) {
            cell = new Cell(content);
            cell.setHorizontalAlignment(Element.ALIGN_CENTER);
            table.addCell(cell);
        }
    
    }
    

    5、其中的一些常量参数

    public class Constants {
    
        /**
         * 需要生成word文档的数据库
         */
        public static final String DATABASE = "demo";
        /**
         * 生成文件名前缀
         */
        public static final String FILE_NAME = "测试数据库";
    
        /**
         * 生成文件地址
         */
        public static String FILE_PATH = "D:\\www";
    
    }
    

    三、测试生成效果

    小编在demo中提供了一个get请求的接口http://localhost:8080/api/tableToWord

    在这里插入图片描述

    接下来我们就可以去返回的地址中查看生成文件了
    在这里插入图片描述
    在这里插入图片描述

    案例demo源码

    https://gitee.com/zhengqingya/java-workspace

    展开全文
  • Java web excel数据的导入导出,利用jxl与poi技术实现数据已excel表格导出数据
  • java实现数据库数据导出到excel

    千次阅读 2018-03-12 17:31:15
    excel表格的导入导出有两种方法,一种是jxl和poi 我是用的是jxl,所以要先下个Jar包,可以去搜索下载一个。package com.wenliang.admin.web;import java.io.File; import jxl.*; import jxl.write.*; import jxl....
  • Java中的一些需要用到的导入包,
  • Java导出数据库查询结果为excel和csv的简易实现

    万次阅读 热门讨论 2016-12-04 23:43:03
    Java导出数据量的数据库查询结果为excel和csv的简易实现.
  • 主要介绍了Java实现Excel导入导出数据库的方法,结合实例形式分析了java针对Excel的读写及数据库操作相关实现技巧,需要的朋友可以参考下
  • 超链接跳转:https://blog.csdn.net/qq_35206261/article/details/82844159
  • java实现导出数据库数据(可以)

    千次阅读 2018-08-29 14:03:03
    //查询数据库中所有的数据 List<Stu> list= StuService.getAllByDb(); //要插入到的Excel表格的行号,默认从0开始 Label labelId= new Label(0, 0, "编号(id)");//表示第 Label labelName= new Label(1, 0, ...
  • 在网上查了很多资料,最后终于搞出来了,网上查了都是通过DOS命令来导出MySQL数据库数据的,dos命令执行备份命令格式: mysqldump -P port -h ip -u username -ppassWord projectName &gt; d:\db.sql 要注意的是...
  • java 从mysql数据库导出数据生成xml文件,新手来的,不喜勿喷
  • 该项目为Java web实现的数据导出到Excel小案例,采用了POI进行处理。
  • java数据库信息导出为csv文件

    千次阅读 2019-01-13 00:33:34
    1、首先需要准备一个jar包&...javacsv.jar 2、编写一个将数据写入csv的方法 /** * 写入csv * @param request * @param rootPath * @param title * @param headers * @p...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 78,093
精华内容 31,237
关键字:

java导出数据库数据

java 订阅