精华内容
下载资源
问答
  • mongodb的数据迁移到mysql数据库中脚本, 在迁移前需要将mysql的表创建完成,他只负责数据同步
  • mongodb里的集合数据迁移到mysql

    万次阅读 2019-07-12 23:07:58
    1,在mongodb上导出数据,写个脚步expmongo.sh,shell脚本如下 #!/bin/sh datestr=`date '+%Y-%m-%d'` /usr/local/mongodb/mongodb-linux-x86_64-2.4.4/bin/mongoexport -im_user -pxxxeedd -d im -c message -f ...

    1,在mongodb上导出数据,写个脚步expmongo.sh,shell脚本如下

    #!/bin/sh
    datestr=`date '+%Y-%m-%d'`
    /usr/local/mongodb/mongodb-linux-x86_64-2.4.4/bin/mongoexport -im_user -pxxxeedd -d im -c message -f txnType,issNo,sn,merchantorder,paymentType,paymentTime,authNo,expDate,cardNo,amount,batchNo,refNo,merchantName,voucher,acqNo --csv -o /tmp/im_$datestr.txt && sz /tmp/im_$datestr.txt
    

    导出来的im数据,/tmp/im_$datestr.txt ,大概有6000多条记录。


    原blog地址:http://blog.csdn.net/mchdba/article/details/49871041,未经过原作者同意,谢绝转载

    类似这样的数据:
    txnType,issNo,sn,merchantorder,paymentType,paymentTime,authNo,expDate,cardNo,amount,batchNo,refNo,merchantName,voucher,acqNo
    “0”,"",“WP14521000000342”,"",“银行卡”,“1440050366667”,"","",“6216615625”,“10”,“2”,“891094135928”,“厚味香味馆”,“000235”,""
    “1”,“WP14521000000342”,“10”,
    “0”,"",“WP14521000000422”,"",“现金”,“1440050722137”,"","","",“0.01”,"","",“老裁缝家纺”,"",""

    2,在mysql库里面,建一张存储mongodb的数据的表:

    建表语句如下:
    CREATE TABLE sap_im (
    txnType varchar(8) DEFAULT NULL,
    issNo varchar(128) DEFAULT NULL,
    sn varchar(128) DEFAULT NULL,
    merchantorder varchar(128) DEFAULT NULL,
    paymentType varchar(128) DEFAULT NULL,
    paymentTime varchar(128) DEFAULT NULL,
    authNo varchar(128) DEFAULT NULL,
    expDate varchar(128) DEFAULT NULL,
    cardNo varchar(128) DEFAULT NULL,
    amount varchar(128) DEFAULT NULL,
    batchNo varchar(128) DEFAULT NULL,
    refNo varchar(128) DEFAULT NULL,
    merchantName varchar(128) DEFAULT NULL,
    voucher varchar(128) DEFAULT NULL,
    acqNo varchar(128) DEFAULT NULL
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4

    3,导入到mysql里面

    上传im_$datestr.txt到mysql服务器,先然后把导出文件改成表名字
    mv /tmp/im_detail_2015-11-12.txt /tmp/sap_im.csv

    开始导入:
    mysql> LOAD DATA INFILE “/tmp/sap_im.csv” REPLACE INTO TABLE sap_im FIELDS TERMINATED BY ‘,’ OPTIONALLY ENCLOSED BY ‘"’ ESCAPED BY ‘"’ LINES TERMINATED BY ‘\r\n’;
    Query OK, 1 row affected (0.02 sec)
    Records: 1 Deleted: 0 Skipped: 0 Warnings: 0

    mysql>
    奇怪,这里只导入了第一行记录,估计是换行符的问题,去掉命令行的\r,将’\r\n’换成’\n’即可,如下所示:

    mysql>
    mysql>
    mysql> LOAD DATA INFILE “/tmp/sap_im.csv” REPLACE INTO TABLE sap_im FIELDS TERMINATED BY ‘,’ OPTIONALLY ENCLOSED BY ‘"’ ESCAPED BY ‘"’ LINES TERMINATED BY ‘\n’;
    Query OK, 6555 rows affected (1.81 sec)
    Records: 6555 Deleted: 0 Skipped: 0 Warnings: 0

    mysql>
    最终正常导入了6000多条记录出来。

    展开全文
  • 将mongodb数据迁移到mysql

    千次阅读 2018-04-04 13:18:56
    mongodb自带mongoexport工具,可便捷导出csv、json等格式数据: mongoexport -h 127.0.0.1 -u username -p password -d userInfoDB(数据库名称) -c regInfo(集合名称) -f _id,字段1,字段2 --type=csv -o /tmp/...

    1. 使用mongoexport导出.csv文件

    mongodb自带mongoexport工具,可便捷导出csvjson等格式数据:

    mongoexport -h 127.0.0.1 -u username -p password -d userInfoDB(数据库名称) -c regInfo(集合名称) -f _id,字段1,字段2 --type=csv -o /tmp/mongoStore/userInfo.csv(保存路径)
    

    根据个人需要选择要导出的字段,此处可以无须导出_id字段

    2. 新建数据库和数据表

    按照个人需要设计数据表结构。此处注意数据表的字段顺序必须一一对应于csv文件中首行的key,所以对应数据表可以暂时先不用设置自增id,否则数据导入后数据表字段对应的值会混乱。

    3. 新建csv导入mysql的sql脚本

    创建load_csv.sql文件

    load data local infile '/tmp/mongoStore/userInfo.csv'(修改为指定csv文件路径)
    into table `userInfo`(修改为mysql中新建数据表名称) character set utf8
    fields terminated by ',' optionally enclosed by '"'
    lines terminated by '\n'
    ignore 1 lines;
    

    执行以下mysql load sql命令

    mysql -uroot -pmysql -DuserInfoDB --default-character-set=utf8 --local-infile=1 < ~/load_csv.sql
    

    这样数据就从迁移到了mysql

    如果mongodb中键比较多,可以通过如下方式获取keys

    比较麻烦的点在于导出csv文件的时候要选择字段和新建mysql表的时候也要写全字段。
    如下方式可以比较快的获取字段列表:
    mongodb获取一条数据

    $ mongo
    > use userInfoDB
    > db.regInfo.find().limit(1)
    { "_id" : ObjectId("5ac3ac86af5b4e34af40xxxx"), "regAuthority" : "XX市XX区XX局", "entranceName" : 1, "have_data_flag" : 1, "orgNumber" : "091xxxx", "termStart" : "2014-02-12", "businessScope" : "咨询"}
    

    以上数据复制到python解释器中,使用python命令获取所有key的列表
    _id的值不符合dict格式,此处删掉)

    >>> import json
    >>> s = """
    ... {"regAuthority" : "XX市XX区XX局", "entranceName" : 1, "have_data_flag" : 1, "orgNumber" : "091xxxx", "termStart" : "2014-02-12", "businessScope" : "咨询"}"""
    >>> s_dict = json.loads(s)
    >>> s_dict.keys()
    ['have_data_flag', 'termStart', 'regAuthority', 'orgNumber', 'entranceName', 'businessScope']
    

    这样就获得了keys

    后面有空会将上面的步骤集成为python脚本

    展开全文
  • 公司为这个项目专门配备了几台高性能务器,清一色的双路四核超线程CPU,外加32G内存,运维人员安装好MongoDB后,就交我手里了,我习惯于在使用新服务器前先看看相关日志,了解一下基本情况,当我浏览MongoDB日志时,...
  • MySQL数据迁移到MongoDB

    千次阅读 2020-04-24 19:54:43
    正是由于MongoDB和MySQL支持导出CSV格式的数据以至于可以把MySQL数据迁移至MongoDB中。 实践演示: mysql开启安全路径 vim /etc/my.cnf 添加以下配置 secure-file-priv= 重启数据库生效 /etc/init.d/mysql...

    Mongodb中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。MySQL支持导出CSV格式的数据以至于可以把MySQL的数据迁移至MongoDB中。
    实践演示:

    1. mysql开启安全路径

    vim /etc/my.cnf 添加以下配置
    secure-file-priv=
    重启数据库生效
    /etc/init.d/mysqld restart

    1. 导出book库下所有表
    SELECT CONCAT("select * from ",table_schema,".",table_name,
    " into outfile '/bak/",table_schema,".",table_name,".csv' fields terminated by ','  
    optionally enclosed by '""' escaped by '""' 
    lines terminated by '\\r\\n';")
    FROM information_schema.tables WHERE table_schema ='book';
    
    不加双引号
    SELECT CONCAT("select * from ",table_schema,".",table_name,
    " into outfile '/bak/",table_schema,".",table_name,".csv' fields terminated by ','  ;")
    FROM information_schema.tables WHERE table_schema ='book';
    
    

    在这里插入图片描述

    在这里插入图片描述
    查看表的字段

    select COLUMN_NAME from information_schema.COLUMNS where table_name=‘books’ and table_schema = ‘book’;
    在这里插入图片描述
    编辑CSV文件并在第一行添加以上字段信息,用,隔开

    1. 导入CSV文件到MongoDB

    mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d book -c yourtablename --headerline --type=csv [-f ID,Name,Population] //添加了字段信息不用加该选项 --file /bak/yourtablename.csv

    MySQL导出CSV

    select * from book
    into outfile '/tmp/test.csv
    fields terminated by ‘,’  
    optionally enclosed by ‘"’ 
    escaped by ‘"’      
    lines terminated by ‘\r\n’;

    参数说明:
    fields terminated by ‘,’    ------字段间以,号分隔
    optionally enclosed by ‘"’   ------字段用"号括起
    escaped by ‘"’        ------字段中使用的转义符为"
    lines terminated by ‘\r\n’;  ------行以\r\n结束

    mysql导入csv:
    load data infile ‘/tmp/test.csv’
    into table test_info
    fields terminated by ‘,’
    optionally enclosed by ‘"’
    escaped by ‘"’
    lines terminated by ‘\r\n’;

    展开全文
  • 作为一个数据抽取工具,在建立数据仓库的过程中,免不了需要从不同的数据源中抽取集中的数据仓库中,下面就拿mongodb抽取到mysql为例,简述抽取数据的步骤: 新建“转换”:test 在test中新建“MongoDB Input”,...

    Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。作为一个数据抽取工具,在建立数据仓库的过程中,免不了需要从不同的数据源中抽取到集中的数据仓库中,下面就拿mongodb抽取到mysql为例,简述抽取数据的步骤:

    1. 新建“转换”:test
    2. 在test中新建“MongoDB Input”,填写数据源信息等,其中有一点比较重要,fields标签页中,取消选中“Output single JSON field”。如下图:
      image
    3. 在test中新建“字段选择”,选择要转换的字段,如下图
      image
    4. 新建“插入/更新”,选择mysql的数据源、表等,选择字段对应关系
      image
    5. 然后依次画上相关的连线即可
      image
    6. 然后执行处理即可
    展开全文
  • MySQL和MongoDB数据相互迁移

    千次阅读 2019-03-11 16:20:27
    一、迁移MongoDB数据到MySQL 1、使用mongoexport导出.csv文件 mongodb自带mongoexport工具,可便捷导出csv、json等格式数据: mongoexport -h 127.0.0.1 -u username -p password -d userInfoDB(数据库名称) -c ...
  • MySQL数据导入到Mongo

    2018-06-11 19:05:00
    背景:如题干所述,需要将一份数据导入到mongo数据库,减少项目依赖的数据源。 解决方案: 使用mongo自带的mongoimport工具。 首先在test库里创建一个空集合:【import_test】,起初用的导入指令如下: [root@...
  • 序言 图示:MongoDB与Elasticsearch热度排名 本文内容涉及MongoDB与... 为什么要从MongoDB迁移到Elasticsearch? 如何从MongoDB迁移到Elasticsearch? 现状背景 MongoDB本身定位与关系型数据库竞争,...
  • mysql数据库的迁移mongo数据库内容迁移到mysql数据库
  • 由于系统软件升级,旧版本为了便捷存储Json数据使用mongo数据库,系统升级使用了mysql5.7,所以需要将原先mongo数据库数据迁移mysql数据库,迁移过程中也学习了很多数据处理方法,以此记录一下。 说一下这次数据...
  • MongoDB迁移数据到Mysql

    2018-05-03 17:55:08
    一.mongodb-------csv------mysql1.使用mongoexport命令导出结果csvmongoexport -h 192.168.38.151 -d vcm -c car -f _id,store_id,brand_id,vin,date_checked,name,mobile --type=csv -o /data/carrecords.csv参数...
  • 如何将MongoDB数据库的数据迁移到MySQL数据库中 FAQ v2.0终于上线了,断断续续忙了有2个多月。这个项目是我实践的第一个全栈的项目,从需求(后期有产品经理介入)架构,再设计(有征询设计师的...
  • 最近的一个多月时间都在做数据库的迁移工作,我目前在开发的项目在上古时代是使用 MySQL 作为主要数据库的,后来由于一些业务上的原因从 MySQL 迁移到了 MongoDB,使用了几个月的时间后,由于数据库服务非常不稳定,...
  • console.log("第" + (i + 1) + "条数据") var content = docs[i].content; var uid = docs[i].uid; var sql = "insert into weibo (content, author) values('" + content + "','" + uid + "');"; ...
  • MongoShake迁移同步mongo数据库 简介: ...如果目标端是mongo数据库,即直接replay oplog,它就像一个同步工具,用于将数据从源MongoDB复制另一个MongoDB,以构建冗余复制或双活复制。 除了...
  • mysql数据迁移到mongodb之工具迁移

    千次阅读 2016-01-20 21:28:37
    现在准备把mysql数据迁移到mongodb,上网搜索了一些资料,上了mongodb的官网看了,在window下有一个mongodb客户端工具,可以直接把数据迁移到mongodb,并且非常简单工具名..MongoVUE...下载地址http://www.mongodb.org
  • 还在发展中!! 如何安装 pip install mysql2mongodb 它是什么 ? 该工具用于将您的mysql数据库迁移到闪亮的新mongoDB数据库!
  • MySQL数据转移到mongo

    千次阅读 2018-04-11 10:37:52
    1、BSON文档大小,最大限制为16MB,这种限制是为了确保单个文档不会使用过多的RAM,或者在迁移期间不会占用过多的带宽。为了保存大于该限制的文档,mongodb提供了GridFS当插入的文档大于16MB时将得到如下的错误信息...
  • 下载MongoVUE http://yunpan.cn/csSvdRKkzf5Kg  提取码 6fb7
  • 测试过260万的数据表,迁移大概要10分钟左右,当然肯定和网络,字段大小什么的有关系。 遇到的坑和注意点都用紫色标记了(对,就是我大乃团的高冷紫--Nogizaka 46) PS:第一次写这么长的东西 一、Mongodb导出...
  • 比如我们上线一个新的功能,需要把mysql的一些数据批量导入Elaticsearch或者mongodb中。这里使用Python代码简洁,方便高效。 根据需求变更参数,sql执行以下脚本即可。 import pymysql, json import pymongo from ...
  • MySQL Shell 8.0.13(GA)引入了一项新功能,让你可以轻松地将JSON文档导入到MySQL。...无论出于何种原因,在迁移到不同的数据库时都不应该掉以轻心,在某些情况下还可能会非常复杂。在其他方面,它取决于数...
  • 使用datax将mongodb的数据同步到mysql 1、在不知道如何编写datax脚本的时候,可以先使用一下命令查看编写格式 [root@hadoop1 bin]# python datax.py -r streamreader -w streamwriter 这里将streamreader换成你想要...
  • 将MongoDB的数据迁移到mysql数据库中 1、愿我的总结能够帮助其他人更快的完成任务。虽然说现在网上有好多这种总结,但是一旦是自己写的时候总会遇到各种问题。比如坐标依赖导错,自己电脑环境等等。。如果你是第一次...
  • MogoDB数据迁移到mysql

    2017-12-18 13:09:41
    最近在做云平台评估的工作,给的原始数据其中有一部存在了mongo中,不能和mysql连表查询,所以需要将mongo数据到mysql数据库中。 由于mong数据导出后都是json格式的,直接导入到mysql中是不可以的,所以需要把指定...
  • python实现mongodb数据导入到mysql

    千次阅读 2019-04-27 19:56:39
    在实际项目中需要把mongodb数据库的数据迁移到mysql数据库,由于该功能只使用一次,因此使用python实现,代码量比较小,特此奉上自己的代码,供大家参考,谢谢!如有问题,请在下方留言,我会及时的回复。 from ...
  • 将mongodb数据库中的数据转移到MySQL

    万次阅读 2018-04-12 09:35:54
    最近在写毕业设计,用到了Mongodb,但是在写SSM的时候,发现还是用MySQL方便,于是就想到了把MongoDB中的数据转移到MySQL中。但是过程中遇到一些问题,故做出此总结。 首先,自己想的笨方法,就是从MOngoDB读取然后...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,119
精华内容 1,247
关键字:

mongo数据迁移到mysql

mysql 订阅