精华内容
下载资源
问答
  • 数据库上云迁移方案

    2021-01-26 07:21:40
    自建业务数据库正在面临的挑战1. 有活动上线,压力突增,数据库却来不及扩容了;2. 采用读写分离,刚更新的数据,却查询不到了;3. 数据的主从复制经常中断;4. 多台应用服务器用同一台数据库,高并发下性能出现问题...

    自建业务数据库正在面临的挑战

    1. 有活动上线,压力突增,数据库却来不及扩容了;

    2. 采用读写分离,刚更新的数据,却查询不到了;

    3. 数据的主从复制经常中断;

    4. 多台应用服务器用同一台数据库,高并发下性能出现问题了;

    5. 数据库数据量持续增长(TB级别),业务发展速度快,没有时间和资源做分库/分表改造;

    6. 库备份会锁表,需要和业务错峰进行;

    云数据库的优势

    阿里云数据库全面超越自建数据库,众多顶尖专家,业内名流加持,开源数据库内核优化,拥有业界领先的数据库自研能力,客户场景覆盖最全面。

    17485e51bcd02110081b628087fd3b44.png

    云上业务数据库选型及迁移方案

    728441adf66c852f274c3001f16716f7.png

    MySQL生态的痛点问题及迁移方案

    痛点问题

    库备份会锁表,需要和业务错峰进行;

    数据量持续增长(TB级别),业务发展速度快,没有时间做分库/分表改造;

    采用读写分离,刚更新的数据,却查询不到;

    压⼒突增,数据库来不及扩容;

    多台应用服务器同一台数据库,高并发下性能出问题;

    主从复制经常中断

    云数据库RDS(MySQL版本)

    a) 使用范围:

    适用数据量在2T以下

    按线下版本,选择RDS对应的MySQL版本(5.5,5.6,5.7或8.0)

    b) 迁移工具:

    使用DTS工具的数据迁移、数据实时同步功能;完成数据的全量和增量同步,同时支持数据回流到线下mysql源库。

    c) 优势:

    99.95%的服务可用性;

    99.9999%的数据可靠性;

    系统安全性:防DDoS攻击,云上自动的及时修复各种数据库安全漏洞;

    数据库备份:自动备份;

    部署扩容:快速部署,弹性扩容,极低人工运维

    监控与报警:CloudDBA提供了自动的对磁盘、IOPS、CPU、网络流量等关键指标的监控和告警机制。

    云数据库PolarDB for MySQL(并发读优化)

    a) 适用范围:

    数据量即将超过2T;

    利用只读实例做读写分离,但是数据同步的延迟高,

    大规模数据量的升级等场景,花费时间过长,影响业务连续性

    目前支持mysql 5.6 版本

    b) 迁移工具:

    使用DTS工具的数据迁移、数据实时同步功能,完成数据的全量和增量同步

    c) 优势:

    弹性:自动扩容,无需规划,对于具有周期性,波峰波谷明显的业务有明显受益;

    全局读一致性:读写分离,刚被更新的数据实时能查询到;

    集群存储按需付费:高可用节点能用来作只读节点,多副本下存储成本控制;

    零开发成本迁移:数据库迁移SQL无需重新设计、适配和联调等工作。

    高可用性:Active-Active架构,可读写的主节点与只读节点间可以做failover

    分布式数据库DRDS+RDS(MySQL版本)(并发写优化)

    a) 适用范围:

    云下使用了读写分离,但当面临高并发写入的时候,仍然无法很好支撑,需要更好的性能。

    b) 迁移工具:

    无直接工具使用,需要客户(伙伴)进行一定的改造。

    c) 优势:

    水平拆分:贴合业务的拆分方案,让操作聚焦少量数据,利用分布式特性,提升操作效率;

    扩展性:分库分表本身是增加可读写的实例,因为读写性能都会提升;

    分布式事务:可以根据场景要求设置事务的策略级别,以达到AP或者CP的效果

    弹性:通过增减节点,让数据服务容量得到线性增加

    全局唯一数字ID:为满足高性能写入,设置全局递增ID

    安全性:SQL审计功能

    Oracle生态的痛点问题及迁移方案

    痛点问题

    集中式架构,海量数据(1T,1亿条)后效率急剧下降

    对于数据的升级硬件需要迁移数据,升级周期长,无法从容应对突如其来的业务高峰;

    RAC集群架构看起来很美好,但是在多节点(>8个)以后性能无法按节点数线性提升;

    灾备系统DG,会浪费一整套同样的硬件完全无法承担负载,Active DG需要另外购买一整套企业版+ADG license,远超硬件投资

    云数据库RDS(PPAS版本)

    a) 适用范围:

    高度兼容Oracle语法;兼容范围涵盖:PL/SQL、数据类型、高级函数、表分区等;

    涉及到存储过程触发器等功能需要PLSQL到Jave的转换改造;

    b) 迁移工具:

    评估和迁移工具ADAM

    c) 优势:

    对Oracle的高度兼容:兼容Oracle数据类型、PL/SQL,比其他迁移方案降低90%工作量;

    同城容灾:HA企业级架构全双冗余保障,同城双中心;

    存储的低成本:基于OSS云存储实现外部表处理,原理上用户空间无限扩展;满足数据冷热生命周期的管理需求;

    高性能表分区:提供高性能表分区实现,兼容Oracle语法;

    云数据库PolarDB-O

    a) 适用范围:

    自建Oracle数据库的版本为9i、10g、11g或12c版本;

    兼容Oracle引擎,存储容量最高可达100TB,单库最多可扩展到16个节点,适用于企业多样化的数据库应用场景;

    b) 迁移工具:

    使用ADAM将自建Oracle数据库的结构迁移至PolarDB-O集群,然后使用DTS进行数据迁移;

    c) 优势:

    良好的兼容性:100+函数及数据库包、PL/SQL语法、表分区语法、Hint优化标记、类AWR性能分析报告、DUAL表、序列;

    使用习惯的连续性:后续业务开发依然可以用Oracle语法;

    云数据库RDS(MySQL版本)

    a) 适用范围:

    数据量小于100G;并且没有使用Oracle的高级功能;

    涉及数据模型重构等改造工作;

    b) 迁移工具:

    评估和迁移工具ADAM;

    c) 优势:

    更低的成本;

    更开放的社区和技术生态;

    分布式数据库DRDS+RDS(MySQL版本)

    a) 适用范围:

    拥抱开源生态,能接受数据库类型的转换;

    高并发写的需求,读写分离的需求,希望具有比Oracle更好的扩展性,更低的扩展成本;

    涉及语法修改,数据模型重构等改造工作;

    b) 迁移工具:

    评估和迁移工具ADAM;

    c) 优势:

    分库分表:贴合业务的拆分方案,让操作聚焦少量数据,利用分布式特性,提升操作效率;

    扩展性:分库分表本身是增加可读写的实例,因为读写性能都会提升;

    分布式事务:可以根据场景要求设置事务的策略级别,以达到AP或者CP的效果

    弹性:通过增减节点,让数据服务容量得到线性增加

    全局唯一数字ID:为满足高性能写入,设置全局递增ID

    安全性:SQL审计功能

    SQL Server生态的痛点问题及迁移方案

    痛点问题

    运维成本的增加,license费用的持续增高;

    需要读写分离的方案,满足高并发读的需求;

    需要主备架构,满足容灾的需求

    云数据库RDS(SQL Server版本)

    a) 适用范围:

    支持2012标准版,2012企业版,2016标准版,2016企业版,2012web版本、2017企业集群版。

    线下购买独立实例成本昂贵的问题;

    需要更快速便捷的数据库备份、迁移等功能;

    b) 迁移工具:

    1. 基于全量备份和增量备份的上云路径(业务中断时间控制在分钟级别):

    使用SSMS备份本地数据库;

    上传备份到OSS(openAPI或者OSSbrowser);

    从OSS备份恢复数据库;

    2. 基于DTS的迁移(业务不停服务的情况下,数据库迁移上云):

    使用DTS的表结构迁移、全量数据迁移以及增量数据迁移;

    c) 优势:

    高可用:拥有秒级主备库切换能力,且还支持跨机房容灾切换。主备库数据都是三份拷贝,数据可靠性比9个9更高;

    分布式事务:实现100%支持分布式事务和Linked Server,在同一个VPC内,可以自由创建Linked Server,实现跨库查询和分布式事务;

    备份数据上云:支持将原生SQL Server备份文件上传到同地域OSS上,然后利用一键恢复至云数据库,引擎层面实现100%兼容;

    云数据库RDS(SQL Server 2017集群版)

    a) 适用范围:

    严格高可用性需求,例如金融行业等

    读写分离的需求;

    迁移到RDS for SQL Sever 2017的集群版本

    b) 迁移工具:

    评估工具Database Assessment Tool

    迁移工具:DTS

    c) 优势:

    高可用、读写分离,最大支持一主一备高可用架构和七个只读实例,支持横向扩展集群读能力;

    适用场景:

    利用只读实例分担流量高峰读请求;

    独立隔离分析任务到只读实例。

    PG生态的痛点问题及迁移方案

    痛点问题

    扩容的挑战,扩容花费的时间长;

    数据库并发性问题: pg采用抢占资源的方式;

    分布式集群技术不成熟;

    数据同步的挑战: 某个实例有问题,若尝试在线恢复,时间很长;

    云数据库RDS(Postgre SQL版本)

    a) 适用范围:

    数据量在6T以下,适用云盘30T以下;

    按线下版本,选择RDS对应的PG版本(9.4、10或者11),推荐使用11版本;

    b) 迁移工具:

    使用DTS工具的数据迁移、数据实时同步功能,完成数据的全量和增量同步;

    支持业务无停迁移;

    c) 优势:

    时空信息的处理能力:支持PostGIS,自研Ganos时空引擎,基于GeoSQL处理多维几何对象、移动对象轨迹等各类空间/时空信息;

    多种数据模型的支持:JSON、XML、KV等;

    全文检索能力:无需额外文本搜索的引擎;

    低存储成本:基于OSS的云存储扩展,原理上支持2TB以上存储空间无限扩展;

    安全稳定:白名单,审计等功能

    云数据库PolarDB for PG

    a) 适用范围:

    数据量在6T以上;

    读一致性、毫秒级延迟(物理复制)或者无锁备份等诉求;

    b) 迁移工具:

    使用pg_dumpall,pg_restore等工具完成自建PostgreSQL的全量数据迁移;

    c) 优势:

    计算节点和存储分离,快速弹性,应对不确定的业务增长,无锁备份;

    性能:集群包含一个主节点和最多15个只读节点,满足高并发场景对性能的要求,尤其适用于读多写少的场景;

    海量存储:支持上百TB级别数据,存储空间无需手动配置,根据数据量自动伸缩,您只需为实际使用的数据库容量付费。

    “零”停机平滑数据迁移

    同构数据源间数据迁移:

    支持MySQL->MySQL、SQL Server-> SQL Server、PostgreSQL-> PostgreSQL、MongoDB-> MongoDB、Redis-> Redis、Oracle-> Oracle等多种数据源到RDS的上云迁移

    异构数据源间数据迁移:

    支持Oracle->MySQL、MySQL->DRDS、MySQL->OceanBase、DB2->MySQL等异构数据源间的数据迁移。

    热迁移:

    支持数据的结构迁移、全量迁移、增量迁移,通过结构、全量、增量迁移可帮助用户将数据实时同步到目标端,实现“零停机”的上云迁移。

    多种数据源间的数据实时同步

    轻松支持异地灾备、异地多活及数据实时分析等应用场景

    丰富的同步场景:

    支持RDS->RDS、RDS->NewSQL、NoSQL->NoSQL等多个场景的同步。如支持MySQL->MySQL、MySQL->AnalyticDB for MySQL、Redis->Redis等多个场景的数据同步,打通各种数据库生态,支持用户多样的业务场景。

    双向同步:

    支持MySQL MySQL双向实时同步,帮助用户构建高效、安全、稳定的“双活”数据中心。

    【云技术在线】提供数据库迁移上云方案的咨询和实施服务。

    展开全文
  • 这里是使用django的dumpdata和loaddata命令迁移数据到新数据库。 一、首先停止django服务,从旧数据库导出所有数据; python manage.py dumpdata -o backup.json 二、创建新的数据库,并修改django配置,比如下面从...

    这里是使用django的dumpdata和loaddata命令迁移数据到新数据库。

    一、首先停止django服务,从旧数据库导出所有数据;

    python manage.py dumpdata -o backup.json
    

    二、创建新的数据库,并修改django配置,比如下面从sqlite切换到postgresql;

    # settings.py
    
    DATABASES = {
        #'default': {
        #    'ENGINE': 'django.db.backends.sqlite3',
        #    'NAME': os.path.join(BASE_DIR, 'old_database.sqlite3'),
        #}
        'default': {
             'ENGINE': 'django.db.backends.postgresql_psycopg2',
             'NAME': 'new_database',
             'USER': 'postgres',
             'PASSWORD': 'password',
             'HOST': '127.0.0.1',
             'PORT': 5432,
        }
    }
    

    三、给新项目迁移数据表

    python manage.py migrate
    

    不需要使用 python manage.py migrate --run-syncdb
    –run-syncdb 只是多了一个 Creating tables 的步骤。

    四、由于导入时候ContentType可能会导致冲突,所以需要先删除ContentType

    python manage.py shell
    >>> from django.contrib.contenttypes.models import ContentType
    >>> ContentType.objects.all().delete()
    

    五、最后导入旧数据库的数据即可完成。

    python manage.py loaddata backup.json
    
    展开全文
  • 达梦数据库迁移

    2021-11-07 19:57:41
    选好后选择下一步,在该界面输入数据源的信息(也就是你要迁移到本地的远程的数据库) 填好后选择下一步,在该界面中输入你本地的数据库信息(要迁入的数据库) 填好后选择下一步,分别选中你源模式与目的...

    我的达梦数据库版本是DM7

    1.打开DM数据迁移工具,并新建工程

     2.选中工程下迁移,并右键新建迁移

    新建迁移后,会出现如下界面

     选中下一步,出现如下界面,选中你要迁移的方式,这里我选择达梦数据库DM7->DM7 

     选好后选择下一步,在该界面输入数据源的信息(也就是你要迁移到本地的远程的数据库)

    填好后选择下一步,在该界面中输入你本地的数据库信息(要迁入的数据库)

     

     填好后选择下一步,分别选中你源模式与目的模式的,再按自己需求选择需要迁移的内容

     

    填好后选择下一步,选择你需要迁移的表

    选择下一步,开始迁移,等待迁移完成即可

    展开全文
  • 第二章:瀚高数据库迁移过程 ① 迁移工具获取 ② 迁移过程演示 ③ 迁移报告查看 我这里创建数据库时指定了表空间。 需要注意的是: 创建的数据库名还有后面的 schema 表要和 oracle 的用户名一致。 瀚高数据库 ...

    第一章:瀚高数据库用户数据准备

    ① 创建数据库、用户

    我这里创建数据库时指定了表空间。
    需要注意的是: 创建的数据库名还有后面的 schema 表要和 oracle 的用户名一致。

    CREATE DATABASE ncc_auto_hg_1020 TABLESPACE nnc_data01;
    create user ncc_auto_hg_1020 password 'Nccloud001!';
    

    ② 用户授权

    grant ALL ON DATABASE ncc_auto_hg_1020 TO ncc_auto_hg_1020;
    grant ALL ON TABLESPACE nnc_data01 TO ncc_auto_hg_1020;
    grant ALL ON TABLESPACE nnc_index01 TO ncc_auto_hg_1020;
    

    ③ 创建 schema 表

    需要通过 sysdba 用户,登录刚才创建的 ncc_auto_hg_1020 数据库进行创建。

    CREATE SCHEMA ncc_auto_hg_1020 AUTHORIZATION ncc_auto_hg_1020;
    

    第二章:瀚高数据库迁移过程

    ① 迁移工具获取

    瀚高数据库 windows 版数据库迁移工具 4.0.3 版本【内附官方使用手册】。
    获取方式:
    小蓝枣的资源仓库
    在这里插入图片描述

    ② 迁移过程演示

    通过 run.bat 执行程序。
    在这里插入图片描述
    分别点击源库和目标库选择对应的数据库信息。
    在这里插入图片描述
    刚才的源库和目标库点进来,先新建数据库信息,然后选择后点击确定即可。
    在这里插入图片描述
    测试通过后点击下一步。
    在这里插入图片描述
    然后会有个验证数据库结构,这个时间比较久,要多等等,可以通过控制台看它的进程一直在走。
    在这里插入图片描述
    然后选择 schema 表进行迁移,默认就是,直接勾选即可。
    在这里插入图片描述
    然后下一步。
    在这里插入图片描述
    点击开始按钮。
    在这里插入图片描述
    然后就开始迁移了。
    在这里插入图片描述
    在这里插入图片描述

    ③ 迁移报告查看

    迁移后会自动在默认浏览器弹出迁移报告。
    在这里插入图片描述
    点击数字可以查看详情。
    在这里插入图片描述
    也可以前往工具下的位置里查看报告。
    在这里插入图片描述
    喜欢的点个赞❤吧!

    展开全文
  • 方法:a) 先来看mysql数据库文件的情况:mysql坏掉了,不管是linux还是windows版本,mysql有个数据库文件目录data目录,如下图:(注意linux版上面的是my.cnf差不多)然后data目录里面类似这样:通过观察可以知道里面...
  • 删除目标数据库的所有表和用户,重建目标数据库的用户:首页 → 数据库技术背景:阅读新闻Oracle完整数据库实例迁移[日期:2011-12-20]来源:Linux社区作者:sysadmin[字体:]需求分析:将源库所有表结构、表数据及表...
  • 随着数据库技术的发展,以及国家政策的支持,中国的数据库市场尤其是在中国IT技术国产化追赶的脚步下,以芯片,操作系统和数据库技术方面发展迅速。中国的数据库市场上目前的现状仍然是以ORACLE、DB2和 MS SQLserver...
  • 随着近些年来数据库的变化,正有越来越多的企业面临将传统数据库迁移到开源或新型商业产品上。在这一过程中,会面临诸多问题。这里就将常见的一些问题整理出来,希望能够在数据库选型及评估数据库迁移风...
  • MySQL数据库迁移

    2021-02-12 03:30:47
    MySQL数据库迁移(数据文件直接迁移)在迁移之前有三种方案:1.数据库直接导出,拷贝文件到新服务器,在新服务器上导入。2.使用【MySQL GUI Tools】中的 MySQLMigrationTool。3.数据文件和库表结构文件直接拷贝到新...
  • mysql数据库本地迁移

    2021-02-08 13:49:53
    在linux下默认的Mysql数据库存储的路径为:var/lib/mysql假如你要把目录迁移到/data/mysqldata 下需要进行以下配置:1.要把与Mysql数据库有关的服务停掉,禁止访问Mysql2.要把你的Mysql用mysqldump 这个命令备份3....
  • 老系统数据迁移到新系统 业务分析:在最近的工作日常当中接到了一个需求,要求将老系统数据迁移到新开发的系统,一看老系统采用的技术SSH,和现在新系统的技术断层,还有表结构和业务逻辑之间的处理都是需要从头...
  • Room数据库迁移 微卡智享 Room 持久性库支持通过 Migration 类进行增量迁移以满足此需求。每个 Migration 子类通过替换 Migration.migrate() 方法定义 startVersion 和 endVersion 之间的迁移路径。当...
  • 【IT168 技术】在DBA的日常工作中,经常需要重装或在新机器上安装Oracle,但每次安装所浪费的时间、精力以及失败的挫折都在考验着DBA的承受能力,本文着重介绍了一个简单的Oracle数据库迁移方法,详细内容请参考下文...
  • 1、在数据库软件安装之后,初始化数据库时候,可以指定初始化时创建的数据库的默认文件路径 /usr/local/pgsql/bin/initdb -D /usr/local/pgsql/data 这样初始化之后,再修改配置文件postgresql.conf为修改之后的...
  • ORACLE数据库迁移计划

    2021-05-02 07:54:40
    数据迁移计划原因:oracle数据库数据文件将磁盘空间占满导致数据无法写入,如果删除历史数据,表空间不会释放占用物理空间不会释放,所以磁盘依旧是满的,现在需要腾出部分空间,然后挂在新的盘符为数据存储。...
  • 解决方法如下: 修改/home/local/mysql/data目录权限,命令如下:chown -R mysql.mysql /home/local/mysql/data 相关文章教程推荐:mysql教程 以上就是mysql实现linux下数据库目录迁移详细内容,更多请关注Gxlcms...
  • 数据库迁移的方法

    2021-06-10 16:14:18
    数据库迁移的方法 我们今天以mysql为例,讲讲数据库迁移的四种方法。 1、将数据库倒出为sql文件,再重新导入(推荐)。 首先将mysql数据库锁定,并将内存中的数据写入磁盘。 flush tables with read lock ; 用...
  • mysql数据库目录迁移

    2021-01-28 07:46:25
    mysql默认安装的情况下,相应的文件都安装在默认的目录下,要想把安装好的mysql迁移到其他目录,只需要配置好my.cnf文件,然后将原有的文件(数据文件,binlog文件,redolog文件等),迁移到配置文件指定的目录即可,如下是...
  • MySQL数据库迁移详细步骤(转)

    千次阅读 2021-01-18 18:59:44
    由于机房搬迁,需要对后台DB服务器进行迁移,同时为了保证在数据迁移过程中,对线上业务不造成影响,并能够做到秒级切换。如果我们采用普通的逻辑备份,比如:mysqldump,会存在锁表的情况,显然不可取。因此我们...
  • 笔者认为迁移的要点有二:①迁移目的表先建好,因datax做不了结构同步;②配置正确的json文件,一张表一个json文件。datax跨数据库同步常遇到的问题包括:1、如何实现不同数据库的数据同步?根据数据库类型,配置job...
  • 1.瀚高数据库安装 下载Highgo Database安全版rpm包并上传至服务器,使用如下命令进行安装 rpm -ivh hgdb5.6.4-enterprise-rhel7.x-x86-64-20190723.rpm 配置环境变量 vim ~/.bash_profile export PATH export HG_...
  • 自 2.4.0-alpha01 版本开始,Room 库里新加入了自动迁移的功能,这让数据库迁移的实现变得更简单。以往每当您的数据库 schema 发生变化时,您都必须实现一个 Migration 类,并将实际变化告知 Room,且多数情况下均...
  • 数据库迁移工具(一) Flyway定义数据库的迁移 Flyway版本:5.2.4 <dependency> <groupId>org.flywaydb</groupId> <artifactId>flyway-core</artifactId> <version>5.2.4<...
  • MysqlToMsSql 为用户提供数据库迁移的功能,数据库是开发人员经常需要用到的,使用这款软件用户可以将MySQL数据转换为SQL Server数据库,省去了导入数据库的时间,操作非常简单,用户只需选择迁移模式并进行配置,就...
  • 一、创建表空间以及数据库用户 --创建表空间和用户脚本 create tablespace 表空间名 datafile 数据文件路径 size 数据文件初始大小 autoextend on maxsize 最大值; create user 用户名 identified by 密码 limit ...
  • Oracle超大型数据库数据迁移方法论摘要:在实践中,一般将容量超过1T的数据库,称之为超大型数据库。在运营过程中,经常会遇到不同的需求,需要对这类数据库的数据进行迁移,该文根据日常运营实践,总结了对Oracle超...
  • 迁移旧数据时,需要把数据库对应的文件夹,以及ib 开头的几个文件全拷过来。 此时一旦拷贝不完全,会出现mysql 无法启动的问题。 journalctl -xe 看日志会给出apparmor 拒绝的问题。 也是误导性debug提示。 解决...
  • 在之前并没有很多数据库迁移方面的经验,所以也不知道迁移需要花费多久,都要做什么工作。通过几天的工作,项目已经顺利迁移到MySql上。该文档总结了迁移的经验,同时也方便以后数据库迁移。1、数据库迁移需要做的...
  • 参考文章: (1)mysql版本:'for the right syntax to use near ‘identified by ‘password’ with grant option’ (2) 【入门篇】篇四、将本地Web项目部署到服务器,迁移本地数据库到服务器
  • 背景:yum安装mysql的时候,数据库的data目录默认是在/var/lib下,由于默认mysql装的分区盘空间很小,需要修改对应存储数据文件路径,出于数据安全性的考虑把它挪到 /home/mysql下◆◆◆步 骤◆◆◆1)查看mysql数据...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 263,854
精华内容 105,541
关键字:

数据库详细迁移