精华内容
下载资源
问答
  • 华鼎数据库集群解决方案

    千次阅读 2011-03-11 11:59:00
    华鼎数据库集群解决方案 华鼎数据库集群解决方案(简称H-C)是一种基于JDBC的提供数据库集群功能的JAVA中间件。H-C可以将混合数据库的信息收集到一个虚拟数据库中,用户不需要修改自己的应用程序或改变数据库的使用...

    华鼎数据库集群解决方案

     

    华鼎数据库( HUABASE )集群解决方案(简称 H-C )是一种基于 JDBC 的提供数据库集群功能的 JAVA 中间件。 H-C 可以将混合数据库的信息收集到一个虚拟数据库中,用户不需要修改自己的应用程序或改变数据库的使用习惯。 H-C 可以为按照用户需要提供多种数据冗余方案,满足不同层次的需求,也可通过相关配置为用户提供响应缓存与容错机制。另外可通过特定的组合方式形成大规模、高可用性的数据库系统。

     

    1          H-C 集群架构

    1 显示了 H-C 包含的几个重要功能模块,客户端应用程序使用 H-C 驱动替代特定的数据库连接驱动,提供一致的应用接口,因此在应用程序实现上不会为用户添加额外负担; H-C 控制器是用于沟通在 H-C 驱动与数据后端之间的代理程序,完全由 JAVA 语言实现,因此可以无障碍的与 HUABASE 数据库连接起来提供分布式的数据服务。控制器对外仅显示单独的数据库视图供应用程序使用,称之为虚拟数据库。控制器可以如图所示管理多个虚拟数据库,每个虚拟数据库有独立的请求管理器,用来管理各自的请求调度、缓存以及负载平衡;被封装起来的数据后端通过各自相应的驱动响应服务。如果数据后端不提供连接池功能,可以通过配置 H-C 的相关设置实现这一功能;用户通过 JMX 服务器监控 H-C 各部分的运行情况,也可向 H-C 发出特定指令控制其运行状态。

    1  H-C 集群架构

     

    2          H-C 虚拟数据库

    H-C 虚拟数据库将后台真正的数据库封装起来,作为一个虚拟的整体为用户提供数据服务。用户在使用上并不会感到与直接操作数据库有什么区别,只是由虚拟数据库根据一定的规则决定用哪个数据后端来确切地响应数据服务。虚拟数据库主要包括以下几部分。

    1 )授权管理

    授权管理用来配置可以访问管理台的管理用户以及访问虚拟数据库的虚拟用户,在建立连接时会首先验证虚拟用户是否正确。

    2 )备份管理

    备份管理用来管理通用的或用户指定的备份器。备份器主要负责数据后端的转存与还原,以及由一个控制器到另一个控制器的数据迁移工作

    3 )请求管理

    请求管理用来协调用户数据请求服务的响应工作,可通过相关配置满足用户需求,其各部分功能将在后面介绍。

    4 )数据后端

    数据后端用来配置各数据后端的真实连接信息,包括访问用户、驱动、 URL 以及连接池几方面内容。

     

    3          H-C 请求管理

    H-C 请求管理是 H-C 控制器的核心功能,它包括调度器,负载平衡两个主要部分,和查询结果缓存、还原日志两个可选部分。

    1 )调度器

    调度器依照特定的规则协调请求在各数据后端的执行循序,不同的冗余级别提供不同的调度策略。单一的数据后端也可使用相应的调度器。

    2 )负载平衡

    负载平衡定义数据请求在各数据后端的分发策略以及从数据后端收到返回结果后的响应策略,同时也提供一定的差错检测机制。

    3 )查询结果缓存

    查询结果缓存主要包括 Metadata 数据缓存、语句解析缓存、请求结果缓存三个方面,可以缩短数据请求的响应时间。

    4 )还原日志

    还原日志用来记录 H-C 处理的数据请求,可以通过这些记录保证所有数据后端处于一致的状态。

    展开全文
  • 一般而言,数据库都是“读多写少”,“读写分离”的思路是数据库集群中采用一个主库负责写入数据,其他都是从库负责读取数据。· 读写分离有以下三点要求 读库和写库数据必须一致 写数据必须写到写库 读数据...

    目录

    读写分离

    中间件方案优化读写分离

    负载均衡解决集群中间件的问题

    PXC集群架构解决主从弱一致性的问题

    混合模式解决PXC性能下降的问题


     

    读写分离

     

    一般而言,数据库都是“读多写少”,“读写分离”的思路是数据库集群中采用一个主库负责写入数据,其他都是从库负责读取数据。· 

     

    读写分离有以下三点要求

    • 读库和写库数据必须一致
    • 写数据必须写到写库
    • 读数据必须从读库中读

     

    架构图 

    特点

    1.数据库从之前的单节点变成了多节点提供服务

    2.主节点数据和从节点数据做了同步

    3.应用程序需要连接到2个数据库节点,并在程序内部实现判断读写操作

     

    读写分离存在的问题

    1.应用程序需要连接到多个节点,对应用程序而言开发变得复杂

    2.主从同步异步实现,具有弱一致性。也就是说当你刚写主,马上读从,可能读不到。或者主从同步数据因为网络等原因丢失导致主从数据库数据不一致

     

    解决方案

    1.针对第一个问题,在java代码编写时可以通过SpringAop思想解决。本质是引入了一个中间件

    2.针对第二个问题我们可以把集群模式优化为PXC集群解决

     

     

    中间件方案优化读写分离

     

    采取单纯的读写分离在代码中就得增加判断,根据不同条件连接不同节点,这使得应用程序复杂度大大提升,因此我们引入了中间件解决问题,常见的中间件是MyCat

     

    架构

     

    特点

    • 应用程序只需要连接到中间件即可,无需连接多个数据库节点
    • 应用程序无需区分读写操作,对中间件直接进行读写操作即可
    • 在中间件中进行区分读写操作,读发送到从节点,写发送到主节点

     

    引入中间件存在的问题

    中间件的性能成为了系统的瓶颈,中间件挂了将是灾难。

     

    架构改造

     

     集群中间件存在的问题

    中间件的性能提升了,但应用程序依然需要连接到2个中间件,又为应用程序带来了复杂度

     

     

    负载均衡解决集群中间件的问题

     

    为了解决客户端对接多个中间件的问题,我们继续进行架构优化。在应用程序和中间件之间增加proxy带来,由代理完成负载均衡的功能,应用程序只需要对接到proxy即可

    至此,主从复制架构的高可用架构才算是搭建完成。

     

     

    PXC集群架构解决主从弱一致性的问题

     

    在前面的架构中,都是基于MySQL的主从架构, 主从架构的弱一致性问题并没有解决,如果在需要强一致性的需求中,显然这种架构是不能应对的。

    PXC提供了读写强一致性的功能,可以保证数据在任何一个节点写入的同时可以同步到其他节点,也就意味着可以随时从任何节点进行读取操作。

    PXC相比纯主从架构性能有所下降,但保证了数据的一致性!

     

     

    混合模式解决PXC性能下降的问题

     

    在前面的PXC架构中,虽然实现了事务的强一致性,但是这种强一致性是通过牺牲性能换来的,如果在某些业务场景下,只专注读写的性能,没有强一致性的需求,那么使用PXC就不合适了。

    所以,在我们的系统架构中,需要将这两种方式综合起来,这样才是一个较为完善的架构。

    需要强一致性就走pxc这套,不需要强一致性就走中间件集群这套 

     

    展开全文
  • 数据库集群解决方案个人理解整理

    千次阅读 2016-12-02 14:49:31
    今天中午去面了一家互联网公司,在谈及到数据库...但是呢,今天我给这个面试官说了后,他估计是没理解我得意思,他就说出了他们的解决方案,他说:数据库集群的方式有两种,一种是在jdbc和数据库服务器之间添加一个分

    今天中午去面了一家互联网公司,在谈及到数据库这块时,被闻到了一个很好的问题,就是数据库集群的实现方式,之前在网上看到关于mysql数据库集群的现成的框架,比如Galera,它是支持多个服务器的库同时同步数据,同时处理事务(添加,更新,删除)。但是呢,今天我给这个面试官说了后,他估计是没理解我得意思,他就说出了他们的解决方案,他说:数据库集群的方式有两种,一种是在jdbc和数据库服务器之间添加一个分发器,一种是在jdbc之上的,这种方式就需要开放人员去人为的指定访问哪个数据库服务器,但是我认为这种方式不能达到负载均衡,如果其中一个业务针对一台数据库服务器大数据量的访问的话,也会很费时间,这种方式我认为不是很好,但是可以作为一种参考方案,也许是我理解的或者知道的不够深刻吧,他说了一个现象,就是同时有多个用户操作一个表时有可能会出现数据不同步的情况,这样如果是多个数据库作为主库的话,会出现上述问题,这块我感觉也是我们两个人理解有偏差,但是我当时没反应过来,没能当场回复,这块一般确实是只有一个主库,然后有多个从库,常规的方式就是只往一个库里写,写完后复制到多个从库中,读的时候呢,从多个库读,这样达到一个读写分离的方式,实现访问速度的提升!!!!!!。

    以上呢就是我得理解,希望各位大神看下,如果有问题多多指教!!!!!!!大笑

    展开全文
  • 简单,强大,通用,用raid的思路来做集群,想法很独特,但不知道哪些用户在用。 What is Sequoia?Sequoia is a transparent middleware solution offering clustering, load balancing and failover services for ...

    简单,强大,通用,用raid的思路来做集群,想法很独特,但不知道哪些用户在用。

    What is Sequoia?
    Sequoia is a transparent middleware solution offering clustering, load balancing and failover services for any database. Sequoia is the continuation of the C-JDBC project. The database is distributed and replicated among several nodes and Sequoia balances the queries among these nodes. Sequoia handles node and network failures with transparent failover. It also provides support for hot recovery, online maintenance operations and online upgrades.
    Sequoia overview
    Features in a nutshell
    • No modification of existing applications or databases.
    • Operational with any database providing a JDBC driver.
    • High availability provided by advanced RAIDb technology.
    • Transparent failover and recovery capabilities.
    • Performance scalability with unique load balancing and query result caching features.
    • Integrated JMX-based administration and monitoring.
    • 100% Java implementation allowing portability across platforms with a JRE 1.4 or greater.
    • Open source licensed under Apache v2 license.
    • Professional support, training and consulting provided by Continuent Inc∞.

     

    Sequoia is the core technology providing database clustering capabilities. It is composed of a controller implementing the RAIDb (Redundant Array of Inexpensive Databases) technology.


    Sequoia controllers are replicated for HA and scalability purposes. Controllers use group communication to synchronize the cluster. Hedera∞ is a group communication wrapper that can be plugged to work with multiple group communication implementations such as Appia, JGroups or Spread.


    Sequoia comes with a JDBC driver for Java application.

    Additional drivers for PHP, Perl, ODBC, MySQL native API and C/C++ applications are also provided through the Carob project. with transparent failover capabilities.

     

    continuent_org_projects

     
    展开全文
  • 数据库集群方案

    2012-11-08 11:24:26
    数据库负载均衡集群解决方案,实现真正意义的保证应用可用性、多份数据冗余、多机并行运算负载均衡提升性能。
  • 数据库集群 此种方式是异步串行复制或日志拷贝(Log Shipping)。主数据库完成事务处理后,生成事务处理日志,日志记录通过FIFO 队列,进入备份数据库处理,从而得到备份数据。此种方式的缺陷在于: a. 复制队列...
  • 我们一般应用对数据库而言都是“读多写少”,也就说对数据库读取数据的压力比较大,有一个思路就是说采用数据库集群方案: 其中一个是主库,负责写入数据,我们称之为:写库; 其它都是从库,负责读取数据,我们称...
  • MySQL 数据库集群-PXC 方案(一)什么是 PXC PXC 是一套 MySQL 高可用集群解决方案,与传统的基于主从复制模式的集群架构相比 PXC 最突出特点就是解决了诟病已久的数据复制延迟问题,基本上可以达到实时同步。...
  • 数据库集群方案分析

    2020-02-25 17:42:03
    数据库解决方案: 集群, 读写分离, 一台主库作为写入的数据库, 写数据库不允许读, 多台从库, 也就是读取库, 读取库 不允许人为的往里写数据. 平时高并发读的时候, 例如: a用户从一个库中去读取数据, b用户去另一个从...
  • 负载均衡 为了解决以上问题,我们将继续优化架构,在应用程序和...PXC集群架构 在前面的架构中,都是基于MySQL主从的架构,那么在主从架构中,弱一致性问题依然没有解决,如果在需要强一致性的需求中,显然这种...
  • Docker安装PXC集群,即mysql集群的安装 安装PXC 可以使用带版本的安装docker pull percona/percona-xtradb-cluster:5.7,下面干脆安装最新版 [root@localhost ~]# docker pull percona/percona-xtradb-cluster ...
  • Postgres-XL 是一个通用的 ACID 开源的、可方便进行水平扩展的 SQL 数据库解决方案。基于 PostgreSQL 数据库构建。Postgres-XL 可用于商业智能、大数据分析、Web 2.0、传统应用等场合。 ...
  • MySQL 数据库集群-PXC 方案(一)什么是 PXC PXC 是一套 MySQL 高可用集群解决方案,与传统的基于主从复制模式的集群架构相比 PXC 最突出特点就是解决了诟病已久的数据复制延迟问题,基本上可以达到实时同步。...
  • 曙光公司采用VMware Infrastructure产品+Oralce RAC+曙光二代小型机搭建基于不同业务系统的不同数据库集群,从而实现用户要求的资源隔离、分时段动态分配资源的需求。同时VMware所具有的众多优点如动态、不中断服务...
  • 数据库集群的分类

    2013-12-24 15:47:12
    在市场上,数据库集群是一个笼统的名词,没有一个权威的定义,各市场参与者往往是各取所需,推出各种特色的数据库集群解决方案。一般地具有下列四种集群方案: (1.基于串行数据复制技术2.基于共享存储的双机容错...
  • 实现一个时序数据库集群方案是一项非常复杂的工作。通常需要实现三个目标:(1)水平扩展能力,当数据量增加时,可以增加节点来满足。(2) 高可用,保证系统7x24不间断运行,并且当网络或节点恢复时,系统具备自愈...
  • PXC 是一套 MySQL 高可用集群解决方案,与传统的基于主从复制模式的集群架构相比 PXC 最突出特点就是解决了诟病已久的数据复制延迟问题,基本上可以达到实时同步。而且节点与节点之间,他们相互的关系是对等的。PXC ...
  • DBTwin For SQL SERVER 2005/2008/2008R2数据库集群系统采用独一无二的数据库集群解决方案,使得整个数据库系统在性能、数据可靠性和服务可用性三大方面同时具有良好的可伸缩能力,构成实时的纯软件并行双机容错系统...
  •  负载均衡集群是由一组相互独立的计算机系统构成,通过常规网络或专用网络进行连接,由路由器衔接在一起,各节点相互协作、共同负载、均衡压力,对客户端来说,整个群集可以视为一台具有超高性能的独立服务器。...
  • 在6月9日的“全速重构”2020阿里云·线上峰会(点击可查看数据库专场亮点)中,阿里云智能数据库事业部的资深产品专家斗佛开启了全球首发4款云数据库新产品——云数据库专属集群、图数据库GDB、云数据库Cassandra版...
  • 数据库Sharding集群扩容问题方案 MySQLSharding集群一般按照用户id进行哈希分区,这里面存在两个问题: 1)集群的容量不够怎么办? 2)单个用户的数据量太大怎么办? 一、问题一 对于第1个问题,MySQL...
  • MySQL集群解决方案

    2019-11-15 04:17:52
    MySQL集群解决方案一、读写分离架构二、中间件三、负载均衡四、PXC集群架构五、混合架构 一、读写分离架构 我们一般应用对数据库而言都是读多写少,也就是对数据库读取数据的压力比较大,有一个思路就是说采用数据库...
  • 目录 环境 症状 问题原因 解决方案 环境 系统平台:Linux x86-64 Red Hat Enterprise Linux 7 版本:5.6.5 症状 CPU架构: x86-64 操作系统:CentOS Linux ...瀚高数据库集群版5.6.5在超图10i创建数据源.

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,657
精华内容 1,062
关键字:

数据库集群解决方案