精华内容
下载资源
问答
  • 分布式缓存

    2019-01-16 21:53:55
    分布式缓存原理书籍 电子书, 分布式 缓存
  • 分布式缓存 分布式缓存出于如下考虑:首先是缓存本身的水平线性扩展问题,其次是缓存大并发下本身的性能问题,再次避免缓存的单点故障问题(多副本和副本一致性)。 分布式缓存的核心技术包括首先是内存本身的管理...

    分布式缓存

          分布式缓存出于如下考虑:首先是缓存本身的水平线性扩展问题,其次是缓存大并发下本身的性能问题,再次避免缓存的单点故障问题(多副本和副本一致性)。

          分布式缓存的核心技术包括首先是内存本身的管理问题,包括了内存的分配,管理和回收机制。其次是分布式管理和分布式算法,然后是缓存键值管理和路由。

          Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。但是它并不提供冗余(例如,复制其hashmap条目);当某个服务器S停止运行或崩溃了,所有存放在S上的键/值对都将丢失。

    什么是Memcached

          许多Web 应用程序都将数据保存到RDBMS中,应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大,访问的集中,就会出现REBMS的负担加重,数据库响应恶化,网站显示延迟等重大影响。Memcached是高性能的分布式内存缓存服务器。一般的使用目的是通过缓存数据库查询结果,减少数据库的访问次数,以提高动态Web 应用的速度、提高扩展性。如下图:

     

    Memcached作为高速运行的分布式缓存服务器特点

          协议简单:memcached的服务器客户端通信并不使用复杂的XML等格式,而是使用简单的基于文本的协议。

          基于libevent的事件处理:libevent是个程序库,他将Linux 的epoll、BSD类操作系统的kqueue等时间处理功能封装成统一的接口。memcached使用这个libevent库,因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。

          内置内存存储方式:为了提高性能,memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中,因此重启memcached,重启操作系统会导致全部数据消失。另外,内容容量达到指定的值之后memcached回自动删除不适用的缓存。

          Memcached不互通信的分布式:memcached尽管是“分布式”缓存服务器,但服务器端并没有分布式功能。各个memcached不会互相通信以共享信息。他的分布式主要是通过客户端实现的。

    Memcached的内存管理

          最近的memcached默认情况下采用了名为Slab Allocatoion的机制分配管理内存。在该机制出现以前,内存的分配是通过对所有记录简单地进行malloc和free来进行的。但是这种方式会导致内存碎片,加重操作系统内存管理器的负担。

          Slab Allocator的基本原理是按照预先规定的大小,将分配的内存分割成特定长度的块,已完全解决内存碎片问题。Slab Allocation  的原理相当简单。将分配的内存分割成各种尺寸的块(chucnk),并把尺寸相同的块分成组(chucnk的集合)如下图:

     

          而且slab allocator 还有重复使用已分配内存的目的。也就是说,分配到的内存不会释放,而是重复利用。

    Slab Allocation 的主要术语

        Page :分配给Slab 的内存空间,默认是1MB。分配给Slab 之后根据slab 的大小切分成chunk.

        Chunk : 用于缓存记录的内存空间。

        Slab Class:特定大小的chunk 的组。

    在Slab 中缓存记录的原理

    Memcached根据收到的数据的大小,选择最合适数据大小的Slab (图2) memcached中保存着slab内空闲chunk的列表,根据该列表选择chunk,然后将数据缓存于其中。

     

    Memcached在数据删除方面有效利用资源

          Memcached删除数据时数据不会真正从memcached中消失。Memcached不会释放已分配的内存。记录超时后,客户端就无法再看见该记录(invisible 透明),其存储空间即可重复使用。

          Lazy Expriationmemcached内部不会监视记录是否过期,而是在get时查看记录的时间戳,检查记录是否过期。这种技术称为lazy expiration.因此memcached不会在过期监视上耗费CPU时间。

          对于缓存存储容量满的情况下的删除需要考虑多种机制,一方面是按队列机制,一方面应该对应缓存对象本身的优先级,根据缓存对象的优先级进行对象的删除。

    LRU:从缓存中有效删除数据的原理

          Memcached会优先使用已超时的记录空间,但即使如此,也会发生追加新纪录时空间不足的情况。此时就要使用名为Least Recently Used (LRU)机制来分配空间。这就是删除最少使用的记录的机制。因此当memcached的内存空间不足时(无法从slab class)获取到新空间时,就从最近未使用的记录中搜索,并将空间分配给新的记录。

    Memcached分布式

          Memcached虽然称为“分布式“缓存服务器,但服务器端并没有“分布式”的功能。Memcached的分布式完全是有客户端实现的。现在我们就看一下memcached是怎么实现分布式缓存的。

          例如下面假设memcached服务器有node1~node3三台,应用程序要保存键名为“tokyo”“kanagawa”“chiba”“saitama”“gunma” 的数据。

          首先向memcached中添加“tokyo”。将“tokyo”传给客户端程序库后,客户端实现的算法就会根据“键”来决定保存数据的memcached服务器。服务器选定后,即命令它保存“tokyo”及其值。

          同样,“kanagawa”“chiba”“saitama”“gunma”都是先选择服务器再保存。

          接下来获取保存的数据。获取时也要将要获取的键“tokyo”传递给函数库。函数库通过与数据保存时相同的算法,根据“键”选择服务器。使用的算法相同,就能选中与保存时相同的服务器,然后发送get命令。只要数据没有因为某些原因被删除,就能获得保存的值。

     

          这样,将不同的键保存到不同的服务器上,就实现了memcached的分布式。 memcached服务器增多后,键就会分散,即使一台memcached服务器发生故障无法连接,也不会影响其他的缓存,系统依然能继续运行。

           这两年 Redis火得可以,Redis也常常被当作 Memcached的挑战者被提到桌面上来。关于Redis与Memcached的比较更是比比皆是。然而,Redis真的在功能、性能以及内存使用效率上都超越了Memcached吗?

          没有必要过于关注性能,因为二者的性能都已经足够高了。由于Redis只使用单核,而Memcached可以使用多核,所以二者比较起来,平均每一个核上,Redis在存储小数据时比Memcached性能更高。而在100k以上的数据中,Memcached性能要高于Redis。虽然Redis最近也在存储大数据的性能上进行优化,但是比起Memcached,还是稍有逊色。说了这么多,结论是,无论你使用哪一个,每秒处理请求的次数都不会成为瓶颈。

          在内存使用效率上,如果使用简单的key-value存储,Memcached的内存利用率更高。而如果Redis采用hash结构来做key-value存储,由于其组合式的压缩,其内存利用率会高于Memcached。当然,这和你的应用场景和数据特性有关。

          如果你对数据持久化数据同步有所要求,那么推荐你选择Redis。因为这两个特性Memcached都不具备。即使你只是希望在升级或者重启系统后缓存数据不会丢失,选择Redis也是明智的。

          当然,最后还得说到你的具体应用需求。Redis相比Memcached来说,拥有更多的数据结构,并支持更丰富的数据操作。通常在Memcached里,你需要将数据拿到客户端来进行类似的修改再set回去。这大大增加了网络IO的次数和数据体积。在Redis中,这些复杂的操作通常和一般的GET/SET一样高效。所以,如果你需要缓存能够支持更复杂的结构和操作,那么Redis会是不错的选择。

    参考网址

    http://www.tashan10.com/memcachedda-jian-huan-cun-xi-tong/

     美文美图

     

     

    展开全文
  • 分布式缓存是指缓存部署在多个服务器组成的服务器集群中,以集群的方式提供缓存服务,其架构方式主要有两种,一种是以JBoss Cache为代表的需要同步更新的分布式缓存,一种是以Memchached为代表的互不通信的分布式...

          分布式缓存是指缓存部署在多个服务器组成的服务器集群中,以集群的方式提供缓存服务,其架构方式主要有两种,一种是以JBoss Cache为代表的需要同步更新的分布式缓存,一种是以Memchached为代表的互不通信的分布式缓存。

    1、JBoss Cache

         Jboss Cache的分布式缓存在集群中的每一台服务器都缓存相同的数据,当集群中的某台服务器的缓存数据更新时,会通知集群中的其他服务器更新或者清除缓存。JBoss Cache通常将应用程序和缓存部署在同一台服务器上,应用程序可以从本地快速获取缓存数据,但是这种方式带来的问题就是缓存数据的数量受限于单一服务器的内存空间,而且当集群规模较大时,缓存更新信息需要通知集群中其他机器同步更新,这中间对于服务器和网络带宽来说,付出的代价是很惊人的。因而这种方案大多见于一般的企业级应用中,在大型网站中很少用。

    2、Memchached

         Memchached曾一度是网站分布式缓存的代名词,被大量网站使用。其简单的设计、优异的性能、互不通信的服务器集群、海量数据可伸缩的架构令网站架构师们趋之若鹜。

        远程通信设计需要考虑两方面的要素,一是通信协议,即选择TCP协议还是UDP协议,抑或是Http协议;一种是通信序列化协议,数据传输的两端,必须使用彼此可识别的数据序列化方式才能使通信得以完成,如XML、Json等文本序列化协议,或者是Google的Protobuffer等二进制序列化协议。Memecached使用TCP协议(UDP也支持)通信,其序列化协议是一套基于文本的自动以协议,非常简单,以一个命令关键字开头,后面是一组命令操作数。例如读取一个数据的命令协议是get<Key>。Memecached以后,很多NoSql产品都借鉴或直接使用了这套协议。

        Memecached通信协议非常简单,只要支持该协议的客户端都可以和Memecached服务器通信,因此Memecached发展出了非常丰富的客户端程序,几乎支持所有主流网站的编程语言,因此在混合了多重编程语言的网站中,Memecached更是如鱼得水。

        Memcached服务端通信模块式基于Libevent,一个支持事件触发的网络通信程序库。Libevent的设计和实现有许多值得改善的地方,但他在稳定的长连接方面的表现却正是Memecached所需要的。关于Libevent更详细的内容,我们会在后面专门讲Memecached的时候再详细说明。

       在上一篇文章中我们说到,缓存就是将数据存储在访问速度相对较高的存储介质中,所以通产缓存都是存储在内存当中。那么缓存数据都存储在内存当中,必然会牵涉到一个问题,那就是内存的管理。而在内存管理中,令人最头疼的问题就是内存的碎片管理。操作系统、虚拟机垃圾回收在这方面想了很多办法:压缩、复制等。Memecached使用了一个非常简单的办法,那就是固定的内存空间分配。

       Memecached将内存空间分成一组slab,每个slab又包含一组chunk,同一个slab里面的每个chunk的大小是固定的,拥有相同大小chunk的slab被组织在一起叫做slab_class.

       存储数据时根据数据的Size大小,寻找一个大于Size的最小的chunk将数据写入。这种内存管理的方式避免了内存碎片管理的问题,内存的分配和释放都以chunk为单位的。和其他缓存一样,memcached也是以LRU(最近最久未使用算法)算法释放最近最久未被访问的数据占有的空间,释放的chunk被标记为未使用,等待下一个合适的数据写入。

        当然memecached的这种内存管理机制也会带来内存浪费的问题,数据只能存在一个比它大的chunk中,而一个chunk只能存一个数据,其他空间就浪费了。如果启动时参数配置不合理,浪费会更加惊人,发现没有缓存多少数据,空间就没了。

       Memcached互不通信的特性是的Memecached从JBoss Cache、OSCache等众多分布式缓存产品中脱颖而出,满足网站对海量缓存数据的需求。其客户端路由算法一致性Hash更成为数据存储伸缩性架构设计的经典范式。事实上,正是集群中的分布式缓存服务器之间互不通信使得集群可以做到几乎无限制的线性伸缩,这也正是目前流行的许多大数据技术的基本架构特点。

       虽然近些年许多NoSql产品层出不穷,在数据持久化、支持复杂数据结构,甚至性能方面有许多都优于Memecached,但Memecached由于其简单、稳定、专注的特点,仍然在分布式缓存领域占据重要地位。

       对于Memecached相关技术知识,我们会在今后的文章中详细的讲解。

     

    转载于:https://www.cnblogs.com/Ron-Zheng/p/Distrubute.html

    展开全文
  • 单机缓存及分布式缓存redis培训ppt,分为4部分 1.缓存开篇词/单机缓存介绍与应用 2.分布式缓存Redis基础 3. Redis高级应用 4. Redis分布式

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 27,470
精华内容 10,988
关键字:

分布式缓存