精华内容
下载资源
问答
  • 随着一个产品的自动化工作不断深入,自动化的case积累数量持续...  Hadoop分布式测试执行方案正是为了解决以上问题而产生,通过分布式执行,可以达到并行运行,提高执行效率的目的;另外,hadoop提供调度,重试等机制
  • 搭建分布式系统

    2019-09-25 22:27:46
    如何搭建分布式网站服务器,比如我有3台服务器ABC,需要搭建分布式服务。也就需要建立IIS 还由DNS WIN 服务器的 还有更改主机名 很麻烦的,这个需要专业的IT人员来操作的。 以下资料作为参考:DNS轮循首先介绍一个DNS...

    如何搭建分布式网站服务器,比如我有3台服务器ABC,需要搭建分布式服务。也就需要建立IIS 还由DNS WIN 服务器的 还有更改主机名 很麻烦的,这个需要专业的IT人员来操作的。
    以下资料作为参考:
    DNS轮循
    首先介绍一个DNS系统:传统的DNS解析都是一个域名对应一个IP地址,但是通过DNS轮循技术(负载平衡技术)可以做到一个域名对应到多个IP 上. 这样大家难免就会问,这个技术有什么用呢?
    DNS轮循是指将相同的域名解释到不同的IP,随机使用其中某台主机的技术,该项技术可以智能的调整网站的访问量到不同服务器上,减轻网站服务器的压力,实现负载匀衡;如果您感觉到单一的主机已经不堪负载你网站日益增长的访问,那么建议您采用我们的DNS轮循技术。 
    DNS轮循系统可以根据您的需求设置N台主机作为WEB服务器。目前已有越来多大型的WEB服务器使用DNS轮循来实现负载均衡,服务的分布规划更便捷,扩展性更好,从而提高了网站的稳定性和访问效率,那些大量数据文件请求的客户也得到了更快的响应。
    DNS轮循还将给您的网站提供这样的改进,诸如您的网站的数据使用量一直处于不断的增长当中,当达到服务器资源运行瓶颈的情况
    下,由于采用了DNS轮循技术,您只需要增加服务器数量就可以平滑升级,而且偶然故障或其他意外情况造成的损失得以避免,7×24小时可靠性的持续的运行
    成为可能。
    如果您真的希望自己的网站能够一直稳定的在线运行,尽量的减少宕机的比率,那么除了采用比较好的网站空间技术支持之外,还可以采用时代互联域名的DNS轮循功能来实现网站的永久在线负载平衡
    负载均衡是由多台服务器以对称的方式组成一个服务器集合,每台服务器都具有等价的地位,都可以单独对外提供服务而无须其
    他服务器的辅助。通过某种负载分担技术,将外部发送来的请求均匀分配到对称结构中的某一台服务器上,而接收到请求的服务器独立地回应客户的请求。均衡负载
    能够平均分配客户请求到服务器列阵,籍此提供快速获取重要数据,解决大量并发访问服务问题。这种群集技术可以用最少的投资获得接近于大型主机的性能。
    网络负载均衡的优点
    第一,网络负载均衡能将传入的请求传播到多达32台服务器上,即可以使用最多32台服务器共同分担对外的网络请求服务。网络负载均衡技术保证即使是在负载很重的情况下,服务器也能做出快速响应;
    第二,网络负载均衡对外只需提供一个IP地址(或域名);
    第三,当网络负载均衡中的一台或几台服务器不可用时,服务不会中断。网络负载均衡自动检测到服务器不可用时,能够迅速在剩余的
    服务器中重新指派客户机通讯。这项保护措施能够帮助你为关键的业务程序提供不中断的服务,并可以根据网络访问量的增加来相应地增加网络负载均衡服务器的数
    量;
    第四,网络负载均衡可在普通的计算机上实现。
    网络负载均衡的实现过程
    在Windows Server 2003中,网络负载均衡的应用程序包括Internet信息服务(IIS)、ISA
    Server 2000防火墙与代理服务器、VPN虚拟专用网、终端服务器、Windows Media
    Services(Windows视频点播、视频广播)等服务。同时,网络负载均衡有助于改善服务器的性能和可伸缩性,以满足不断增长的基于
    Internet客户端的需求。
    网络负载均衡可以让客户端用一个逻辑Internet名称和虚拟IP地址(又称群集IP地址)访问群集,同时保留每台计算机各自的名称。下面,我们将在两台安装Windows Server 2003的普通计算机上,介绍网络负载均衡的实现及应用。
    这两台计算机中,一台计算机名称为A,IP地址为192.168.0.7;另一台名为B,IP地址为192.168.0.8。
    规划网络负载均衡专用虚拟IP地址为192.168.0.9。当正式应用时,客户机只需要使用IP地址192.168.0.9来访问服务器,网络服务均衡
    会根据每台服务器的负载情况自动选择192.168.0.7或者192.168.0.8对外提供服务。具体实现过程如下:
    在实现网络负载均衡的每一台计算机上,只能安装TCP/IP协议,不要安装任何其他的协议(如IPX协议或者NetBEUI协议),这可以从“网络连接属性”中查看。
    第一步,分别以管理员身份登录A机和B机,打开两台机的“本地连接”属性界面,勾选“此连接使用下列项目”中的“负载均衡”项并进入“属性”对话框,将IP地址都设为192.168.0.9(即负载均衡专用IP),将子网掩码设置为255.255.255.0;
    第二步,分别进入A机和B机的“Internet协议(TCP/IP)”属性设置界面,点击“高级”按钮后,在弹出的“高级TCP/IP设置”界面中添加IP地址192.168.0.9和子网掩码设置为255.255.255.0。
    第三步,退出两台计算机的“本地连接属性”窗口,耐心等一会儿让系统完成设置。
    以后,如果这两台服务器不能满足需求,可以按以上步骤添加第三台、第四台计算机到网络负载均衡系统中以满足要求。


    1.https://segmentfault.com/a/1190000002418709

    2.http://www.cnblogs.com/leefreeman/p/3993449.html

    3.http://www.roncoo.com/article/detail/124243

    转载于:https://www.cnblogs.com/yhtboke/p/6889471.html

    展开全文
  • 因此,本节我们将展开详细讲解如何通过hystrix来解决分布式系统的高可用性问题以及设计原则.  我们要明白hystrix如何提高分布式系统的高可用性与稳定性,我们就要知道分布式系统会出现什么问题?在分布式系统中,...

      

        上一节中,我们讲到hystrix是解决系统高可用的核心技术。因此,本节我们将展开详细讲解如何通过hystrix来解决分布式系统的高可用性问题以及设计原则.


        我们要明白hystrix如何提高分布式系统的高可用性与稳定性,我们就要知道分布式系统会出现什么问题?在分布式系统中,每个服务都会调用很多其他的服务,这些被调用的服务叫做依赖服务,某些依赖服务在有些时候不可用,出现故障时正常现象,

       上一节中,我们讲到hystrix的主要技术包括:资源隔离,限流,熔断,降级,运维监控等,hystrix可以让我们对分布式系统中对服务间的调用进行控制,加入一些调用延迟或者依赖故障的容错机制。hystrix通过将服务进行资源隔离,进而保证某个依赖服务出现故障     的时候,这种故障在整个系统所有的依赖服务调用中进行蔓延,同时hystrix还提供故障时的failback降级机制。

        总而言之,hystrix通过这些方法帮助我们提升分布式系统的可用性和稳定性。

      Hystrix为了实现高可用性的架构,设计hystrix的时候,一般遵循以下设计原则:

        1,对依赖服务调用时出现的调用延迟和调用失败进行控制和容错保护;

        2,在复杂的分布式系统中,阻止某一个依赖服务的故障在整个系统中蔓延;

        3,提供fail-fast(快速失败)和快速恢复的支持;

        4,提供failback优雅降级的支持;

        5,支持实时的监控、报警以及运维操作;

       使用Hystrix要解决的问题:

        1,阻止依赖服务耗尽所有资源; --- 资源隔离

             比如使用bulkhead(舱壁隔离技术),swimlane(涌道技术),circuit breaker(短路技术) ,来限制任何一个依赖服务的故障的影响。

        2,提供fallback降级机制来应对故障;

        3,避免请求排队和积压,采用限流和fail fast来控制故障;

        4,通过近实时的统计、监控、报警功能,来提高故障处理和恢复速度。

        5,通过近实时的属性和配置热修改功能,来提高故障处理和服务的速度。

        6,保护依赖服务调用的所有故障情况,而不仅仅只是网络情况。

       Hystrix是如何解决这些问题的?

       1,通过HystrixCommand或者HystrixObservableCommand来封装对外部依赖的访问请求,这个访问请求一般会运行在独立的线程中

       2,为每一个依赖服务维护一个独立的线程池,或者是semaphore,当线程池已满时,直接拒绝对这个服务的调用

       3,对依赖服务的调用成功次数,失败次数,拒绝次数,超时次数,进行统计

       4,如果对一个依赖服务的调用失败次数超过一定的阈值,自动进行熔断,在一定时间内对该服务的调用直接降级,一段时间后再自动尝试恢复

       5,对属性和配置的修改提供近实时的支持。



        

        


        

    展开全文
  • 1什么是分布式文件系统? 是一个具有容错性的网络分布式文件系统,它将数据分散存放在多个物理服务器或单独磁盘或分区上,确保一份数据 有多个备份副本,对于访问MFS的客户端或者用户来说,整个分布式网络文件系统...

    1什么是分布式文件系统?

    是一个具有容错性的网络分布式文件系统,它将数据分散存放在多个物理服务器或单独磁盘或分区上,确保一份数据
    有多个备份副本,对于访问MFS的客户端或者用户来说,整个分布式网络文件系统集群看起来就像一个资源一样,也就是说呈现给用户的是一个统一的资源。

    2.MooseFS的特性?

    高可靠性 高可扩展性 高可容错性 高数据一致性 通用文件系统 可以在线扩容 部署简单 提供web gui监控接口
    可回收在指定时间内删除的文件

    1. MFS分布式文件系统的结构是怎么样的?
      MFS文件系统由四部分组成
    0.1 Master Server(管理服务器) 
    0.2 Metalogger Server(备份服务器)
    0.3 Chunk Server(存储数据的服务器,可以有多台,chunk服务器越多,容量越大,可靠性和性能也就越高)
    0.4  mfs client客户端
    

    3.搭建MFS管理服务器
    3.001 绑定hosts,关闭防火墙和selinxu

    182.48.115.233 master-server
    182.48.115.235 metalogger
    182.48.115.236 chunkServer1
    182.48.115.237 chunkServer1
    setenforce 0 && systemctl stop firewalld
    3.002 创建mfs用户和组
    useradd mfs -s /sbin/nologin
    3.003 下载源码安装包
    wget http://ppa.moosefs.com/src/moosefs-3.0.100-1.tar.gz
    3.004 解压编译 安装
    tar -zvxf moosefs-3.0.91-1.tar.gz && cd moosefs-3.0.91
    ./configure
    –prefix=/usr/local/mfs #指定安装路径
    –with-default-user=mfs #指定用户
    –with-default-group=mfs #指定用户组
    make && make install
    cd /usr/local/mfs/etc/mfs
    mfsmaster.cfg 主文件
    mfsexports.cfg mfs挂载权限设置,参考NFS文件系统中的exports.cfg
    mfstopology.cfg 机架感知
    3.004 修改主配置文件
    cp -a mfsmaster.cfg.sample mfsmaster.cfg
    cp -a mfstopology.cfg.sample mfstopology.cfg
    cp -a mfsexports.cfg.sample mfsexports.cfg
    vim mfsexports.cfg
    182.48.115.0/24 / rw,alldirs,maproot=0 #alldirs 允许挂载任何指定的子目录,maproot 映射为root,

    •                   .          rw 
      

    cd …/…/var/mfs/
    cp -a metadata.mfs.empty metadata.mfs
    chown -R mfs:mfs /usr/local/mfs
    /usr/local/mfs/sbin/mfsmaster start #启动mfs
    查看下进程 ps -ef|grep mfs
    lsof -i:9420 //防火墙如果开启了,需要开放9420端口访问
    ln -s /usr/local/mfs/sbin/mfsmaster /etc/init.d/mfsmaster
    /etc/init.d/mfsmaster statrt
    3.005 启动和停止Web GUI
    /usr/local/mfs/sbin/mfscgiserv start
    ps -ef|grep mfscgiserv
    root 31352 1 0 11:01 ? 00:00:00 /usr/bin/python /usr/local/mfs/sbin/mfscgiserv
    root 31356 24958 0 11:02 pts/0 00:00:00 grep mfscgiserv
    到此 Master Server(管理服务器) 配置成功可以访问http://182.48.115.233:9425 查看

    metalogger元数据日志服务器操作记录
    初始步骤 创建用户,关闭防火墙,编译安装这些都和管理服务器安装方法相同我在这里重点说明下修改配置文件
    cd /usr/local/mfs/etc/mfs/
    cp mfsmetalogger.cfg.sample mfsmetalogger.cfg
    vim mfsmetalogger.cfg
    META_DOWNLOAD_FREQ = 1 #META_DOWNLOAD_FREQ 表示源数据备份下载请求频率,这里设置为1小时。默认为24小时,当元数据服务器关闭或者出故障时,matedata.mfs.back 文件将消失,那么要恢复整个mfs,则需从metalogger 服务器取得该文件。请特别注意这个文件,它与日志
    文件(即changelog_ml.0.mfs文件)一起,才能够恢复整个被损坏的分布式文件系统。元数据日志服务器的备份数据存放目录是/usr/local/mfs/var/mfs/
    MASTER_HOST = 182.48.115.233 #如果是单机环境的话,这个不能为localhost或127.0.0.1,要使用对外IP
    MASTER_PORT = 9419
    cd …/…/var/mfs/
    cp metadata.mfs.empty metadata.mfs
    chown -R mfs:mfs /usr/local/mfs
    启动metalogger节点服务
    ln -s /usr/local/mfs/sbin/mfsmetalogger /etc/init.d/mfsmetalogger
    /etc/init.d/mfsmetalogger start
    查看进程是否启动
    ps -ef|grep mfs

    chunkServer数据储存节点上的操作记录
    下一章继续

    展开全文
  • (1)分布式数据推送以及配置中间件diamond https://github.com/takeseem/diamond/tree/master https://github.com/knightliao/disconf (2)微服务demo 微服务 spring dubbo项目:dubbo rpc;druid数据源连接池;...

    (1)分布式数据推送以及配置中间件diamond

    https://github.com/takeseem/diamond/tree/master

    https://github.com/knightliao/disconf

    (2)微服务demo

    微服务 spring dubbo项目:dubbo rpc;druid数据源连接池;mybatis配置集成,多数据源;jmx监控MBean;定时任务;aop;ftp;测试;Metrics监控;参数验证;跨域处理;shiro权限控制;co…

    https://github.com/windwant/spring-dubbo-service

    (3)接口限流sential

    https://github.com/alibaba/Sentinel

    (4)java问题诊断器arthas

    https://github.com/alibaba/arthas

    (5)数据库连接池druid

    https://github.com/alibaba/druid

    (6)hbase操作orm框架

    https://github.com/alibaba/simplehbase

    (7)配置中心nacos

    https://github.com/alibaba/nacos

    (8)微服务

    https://github.com/alibaba/spring-cloud-alibaba

    (9)脚本语言qlexpress

    https://github.com/alibaba/QLExpress

    (10)数据同步

    https://github.com/alibaba/DataX

    (11)流式计算

    https://github.com/alibaba/flink

     

    展开全文
  • 今天来写一篇博客,教大家如何搭建分布式系统. 万事开头难,很多人放弃某样东西往往都是在刚开始的时候遇到了困难.所以有句话叫做"师傅领进门,修行靠个人",这个帖子权当作领各位进门吧. 开始之前先聊一下我的学习经历...
  • 因为我这段时间刚刚接触Hadoop的学习,所以我就写一篇关于如何搭建分布式集群的文章来记录一下。(分布式集群为三台虚拟机构成,并且满足HA架构) 1,提前准备 (1)利用VMware建立三台操作系统是CentOs7的虚拟机。 ...
  • - MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。
  • 前两天跟大家分享了一篇关于如何利用FastDFS组件来自建分布式文件系统的文章,有兴趣的朋友可以阅读下《用asp.net core结合fastdfs打造分布式文件存储系统》。通过留言发现...
  • 分布式系统技术栈用到了很多开源免费的中间件,例如 Keepalived、Lvs、Nginx、MongoDB、Redis、Zookeeper、ActiveMQ、MyCat...分布式系统搭建就是搭建分布式系统的基础设施,也是开发、测试、运维人员的必修课,这是...
  • 文件(即changelog_ml.0.mfs文件)一起,才能够恢复整个被损坏的分布式文件系统。元数据日志服务器的备份数据存放目录是/usr/local/mfs/var/mfs/。 5)MFS日常操作(都在client端下操作) 回收站功能 mfs文件...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,331
精华内容 532
关键字:

如何搭建分布式系统