-
2022-04-13 14:05:10
sql大文件分割
有时候下载到本地的sql文件太大了,编辑器打不开,这里推荐使用sublime_text,文件太大了打开需要花费很长的时间。
- 在桌面新建三个文件,
- 一个test文件夹,用于存放分割后的sql文件。
- 一个demo.py文件,用于分割一个大的sql文件为几个小sql文件。
- 一个demo.bat文件,用于运行.py文件。
- 将下面代码复制到文件中,编辑好对应的数据,双击运行.bat文件。进行分割sql文件。
demo.py文件
#!usrbinenv python3 # -- coding utf-8 -- f = open(r'C:\Users\Administrator\Desktop\binlog0161.sql','r',encoding='utf-8') //打开待分割文件 readlist = [] i = 0 i=i+1 filename = 'test\mytest_{0}.sql'.format(i) //分割后的文件名称 wf=open(filename, 'w', encoding='utf-8') linecount=0 while 1: try: line = f.readline() wf.write(line) linecount=linecount+1 # if(linecount >= 200000): if(linecount >= 5000000): //每一个文件储存5000000行 linecount = 0 print(filename) i=i+1 wf.close() filename = 'test\mytest_{0}.sql'.format(i) wf=open(filename, 'w', encoding='utf-8') if not line: break except Exception as e: print("read except:" + str(e)) continue #print(read except + str(e)) f.close() print(filename) wf.close()
demo.bat文件
@echo off //运行命令不显示 python demo.py //运行demo.py pause //暂停 exit
更多相关内容 -
SQLDumpSplitter 大Sql文件拆分成小文件
2020-12-11 17:40:19SQLDumpSplitter 大Sql文件拆分成小文件, -
SQL大文件拆分工具SQLDumpSplitter
2021-08-07 16:39:13SQL大文件拆分工具SQLDumpSplitter -
sql文件切割,大文件切割成小文件/SQLDumpSplitter
2018-08-27 10:39:24因为数据迁移,导出的文件快2个G了,便于文件切割,分批导入 可以自定义切割后的文件大小,能够将表结构跟... 最后的结果是一个建表SQL和一系列的数据SQL, 支持utf8格式, 支持中文. 快2G了电脑都打不开,一打开就崩溃 -
超大SQL文件切分
2021-11-02 17:56:27超大SQL文件切分—SQLDumpSplitter(带软件) 链接: https://pan.baidu.com/s/1p_itNTg3YmfXt0xSSXZQmA 提取码: bca3 复制这段内容后打开百度网盘手机App,操作更方便哦超大SQL文件切分—SQLDumpSplitter(带软件)
链接: https://pan.baidu.com/s/1p_itNTg3YmfXt0xSSXZQmA 提取码: bca3 复制这段内容后打开百度网盘手机App,操作更方便哦
-
拆分sql文件入库、mysql导入大sql文件报错,拆分导入
2021-08-31 11:36:36这里借助github开源项目实现将sql文件拆分,非常简单 此项目指针对库内表的拆分,导入时需要自行建库 https://github.com/kedarvj/mysqldumpsplitter mysqldumpsplitter.sh内定义了拆分的sql会以各种压缩形式文件...公司项目升级需要备份数据库,mysqldump导出完整sql文件200G,在导入过程中出现各种问题,一旦失败要重新来过,非常浪费时间
这里借助github开源项目实现将sql文件拆分,非常简单
此项目指针对库内表的拆分,导入时需要自行建库
mysqldumpsplitter.sh内定义了拆分的sql会以各种压缩形式文件产出,拆分后需要进行解压
这里我导出all.2021-08-210101.sql完整备份中的airdb库
sh mysqldumpsplitter.sh --source /home/all.2021-08-210101.sql --extract DB --match_str airdb
过程输出 结束后会有Setting output directory: out.t提示
结果展示
解压文件
gunzip airdb.sql.gz
我这里遇到问题是有表重复,所以单独把airdb库拆分出来,然后可以直接用这个库进行导入,也可以在将airdb库的表进行拆分后在导入
sh mysqldumpsplitter.sh --source /home/airdb.sql --extract TABLE --match_str t_area
-
java实现大文本文件拆分
2020-08-19 04:38:59主要为大家详细介绍了java实现大文本文件拆分,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 -
大型sql文件拆分工具软件
2022-03-02 19:11:53大型sql文件拆分工具软件SQL文件分割工具:SQLDumpSplitter3
用于将大型MySQL转储拆分为可独立执行的小型SQL文件。
下载地址:https://philiplb.de/sqldumpsplitter3/ -
按行拆分文本或SQL脚本文件
2014-06-05 11:21:35按行拆分文本、SQL脚本大文件,含VS2010代码 -
SQL数据库分割拆分工具
2018-04-18 22:35:36SQL数据库分割拆分工具,体积小,非常好用,可以把大SQL文件自动分割成不同大小文件,方便导入数据库,文件大小可以自己设定,一般虚拟主机数据库导入限制2-8MB, 几百MB数据库没法一次导入,可以用这个分割成NN个,... -
大SQL文件自动分割为小SQL文件,可设置大小
2010-11-19 22:39:46用来分割从MySQLAdministrator 或者 mysqldump 之类的工具产生的大SQL文件. 小的SQL文件便于从phpMyAdmin之类的受运行时间限制的脚本恢复数据, 这是一个非常好用的工具. 厉害之处是它可以自动将结构语句和数据语句... -
MySQL高效导入多个.sql文件方法详解
2020-12-16 06:07:25假设我们有一个 users.sql 大文件,为方便我们将其拆分成:user1.sql、user2.sql、user3.sql 三个独立的小sql文件。 1、mysql命令导入 mysql命令导入多个sql文件方法: $ for SQL in *.sql; do mysql -uroot -p -
SQL:全国快递地区数据sql文件.sql
2019-09-18 19:15:24SQL表数据,包含 全国地区信息(ID ,parentId 父id,name 地区名, isShow 是否显示, areaType 类型:省市区) -
全国省市区划分sql文件
2020-06-22 15:36:29全国省市区划分sql文件,详细的SQL文件,打开即刻获得,欢迎下载交流,谢谢各位朋友 -
Linux中sql大文件拆分导入
2018-09-03 18:11:02sql文件比较大,通常会压缩至大概十分之一大小。 1、压缩文件 非打包 tar -czvf test.tar.gz test.sql //压缩 test.sql文件为test.tar.gz(会保留原文件) tar -czvf test.tar.gz test/ //压缩目录下的文件 (不过... -
Linux系统下大sql文件根据行进行分割方法(APP)
2021-01-20 10:08:25在日常工作中,我们经常会碰到数据信息迁移备份或者恢复的情况,由于editplus和node++等文档查看工具大于2G以上几乎就打不开了,而记事本在sql文件大小超过本机的内存大小之后也无法在打开,就出现了大sql文件无法... -
超大SQL文件切分---SQLDumpSplitter(带软件)
2021-01-20 18:42:27它主要作用就是切分大文件,方便后续操作 使用流程: 打开SQLDumpSplitter程序 按介绍操作 注意,显示100%时并不是已经处理完了,而是才开始。 其优势在于 软件程序小巧,不需要安装,直接点击运行就可以 最厉害... -
python快速处理超大sql文件
2021-01-29 18:07:09需求是这样的,总会遇到几个巨大无比的数据库备份文件,工具导入的时候经常就是各种问题,...说干就干了环境 win10工具:python3.7+pycharm要分割的文件大小:6G,sql文件直接上代码了import redbname = ''with open... -
MySQL导入的sql脚本文件过大解决方案
2021-01-19 01:44:50于是想通过截取文件,部分导入,事与愿违由于文件太大,一般的软件比如记事本notepad和notepad++,editplus都无法正常打开。几经周转发现UltraEdit能够打开4G的文件。比较好奇,为啥几次都不能通过直接在... -
怎么将sql数据库文件分割
2021-02-07 12:46:38导入数据,弹出DTS导入/导出向导,按 下一步 ,2、选择数据源 Microsoft Excel 97-2000,文件名 选择要导入的xls文件,按 下一步 ,3、选择目的 用于SQL Server 的Microsoft OLE DB提供程序,服务器选择本地(如果是... -
java大文件读取拆分(30G以上)
2021-04-08 19:02:02java大文件读取拆分,本次示例解析拆分40G大小的SQL文件,解析过程50万行数据一个文件,具体逻辑直接上代码test1是单文件读取过滤,test2是文件拆分 代码可以直接运行,只需修改:fileName(需要操作的目标文件路径)... -
SQL文件切割工具、大文件操作工具
2021-12-28 14:11:44SQL文件切割工具: https://philiplb.de/sqldumpsplitter3/ SQLDumpSplitter3 大文件操作工具: https://www.emeditor.com/ -
SQL文件过大,navicat运行SQL文件超过100%错误,处理/切割大文件
2020-04-25 23:07:30处理/切割大文件Windows切割文件Linux切割文件新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左... -
分割mysql 大sql文件批量导入
2018-06-07 17:54:49其中-l 8000意思是以8000行为单位分割split --verbose -l 8000 st_2018-06-04_stock.sql -d -a 2 --additional-suffix=.sql split_st2、mkdir tempmv split*.sql temp3、创建batch.sh文件,内容如下 #!... -
csv逗号分隔值文件_如何将逗号分隔值(CSV)文件拆分为SQL Server列
2020-07-19 11:07:50csv逗号分隔值文件 Receiving a comma delimited file is not new technology nor is it difficult to deal with in SQL Server. As a matter of fact, it is extremely easy. There are many cases as to why you... -
Linux sed 文件拆分 拆分文件 将一个大文件按照关键字来拆分成若干个小文件
2019-12-18 00:18:12主要是现在生产上所有表的建表语句都存在一个文件中,这样,不利于版本更新的控制,所以要把这个文件拆分为一个建表语句一个文件,且要以表名作为文件名,粗略估计一下,有四千多张表。 OK,目标明确;第一反应想到... -
mysqldumpsplitter:将mysqldump的输出分割为任何最大大小的文件。 保持语法正确,即使使用扩展插入也是如此
2021-05-10 12:24:52我们为什么建造它将非常大SQL文件拆分为较小的文件,可以更轻松地对其进行处理。 我们再也不会在一个MySQL数据库中再存储这么多BLOB了:)。编译中预编译的二进制文件可以在/ bin中找到,并且当前提供给以下平台: ... -
SQL字符串按殊字符串拆分.zip
2020-06-16 18:33:31解压文件包,打开SQL Server Management Studio,先读A-ReadMe.txt,按照要求运行生成即可,有冲突请检查方法名是否冲突,就可以快捷使用相关函数了
收藏数
74,347
精华内容
29,738