精华内容
下载资源
问答
  • 云测平台发展演进.pdf

    2020-12-10 09:01:58
    云测平台发展演进.pdf
  • CDMA移动网络的发展演进pdf,CDMA移动网络的发展演进
  • 分布式架构的发展演进 负载均衡算法 轮询 加权轮询 随机算法 最小连接数 hash 根据客户端ip计算出hash值,hash%2取模来决定分发目标 数据库演变 1. 数据库性能提升 数据库如何同步 数据源如何路由 ...

    负载均衡算法

    1. 轮询
    2. 加权轮询
    3. 随机算法
    4. 最小连接数
    5. hash 根据客户端ip计算出hash值,hash%2取模来决定分发目标

    数据库演变

    1. 数据库性能提升
    • 数据库如何同步
    • 数据源如何路由

    1.1 方案1: 引入搜索引擎

    • 提高检索速度
    • 减轻读数据库的压力
    • lucence,solr,elk
    • 索引构建:
      基于原始数据构建索引
      全量构建->第一次构建
      增量构建->增量同步
      非实时(异步/定时任务)、实时

    1.2 方案2:缓存

    • 缓存: 为了降低低速设备和高速设备间的差异。
    • Nosql存储或其他存储方式
      Nosql:hbase、mongoDB、Redis....
      其他缓存:浏览器缓存、应用缓存、db缓存、cpu缓存,文件存储,etc

    2.分布式数据库
    2.1 事务的作用?
    2.2 分布式数据库:

    通过分库分表实现数据库拆分:
    根据服务特性(业务量、类型etc)分别配置数据库性能


    应用的演变

    传统单应用的问题:

    1. 部署和维护困难
    2. 业务耦合度很高
    3. 性能瓶颈
    4. 测试

      1. 应用根据功能模块拆分:
      1.1 如:会员服务、交易服务、商品服务

    RPC在分布式中的作用?

    1.2 服务分块

    优势:

    • 专人维护专门服务
    • 根据不同的吞吐量要求,做针对性的扩容

    劣势:

    • 运维成本增高
    • 团队人员增多

    高可用方案

    1. 单点故障

    1.1 多机房部署


    监控

    1. 链路监控

    • zipkin
    • traceID

    2.硬件监控
    cpu、内架构存、磁盘


    架构的发展过程

    1. SOA-ESB

    • 客户端1、客户端2....
    • ESB:
      服务的通信、发现
      协议转化
      安全
      限流
    • 服务端集群

    2. 微服务
    注册中心:eureka、zookeeper、consoul

    3. 容器+k8s调度

    4. serviceMesh(服务网格)
    sidecar解决了:服务熔断、调用、发现,负载均衡

    posted on 2019-07-27 22:46 Initial-X 阅读(...) 评论(...) 编辑 收藏

    转载于:https://www.cnblogs.com/initx/p/11257128.html

    展开全文
  • 分享经济发展演进机理研究——以滴滴出行为例,朱国玮,邓萍峰,基于分享经济三要素模型,运用单案例研究方法,通过对滴滴出行发展历程的考察,分析过剩资源、技术平台、人人参与三大要素的纵向
  • 阿里云总监系列课重磅上线!聚焦人工智能、弹性计算、...第三期《深入解析数据存储技术原理及发展演进》特邀阿里云盘古分布式存储资深技术专家储道,为大家带来干货分享。本节课程《固态存储技术》,欢迎大家前来学习。
  • 阿里云总监系列课重磅上线!聚焦人工智能、弹性计算、...第三期《深入解析数据存储技术原理及发展演进》特邀阿里云盘古分布式存储资深技术专家储道,为大家带来干货分享。本节课程《闪存存储技术》,欢迎大家前来学习。
  • 阿里云总监系列课重磅上线!聚焦人工智能、弹性计算...第三期《深入解析数据存储技术原理及发展演进》特邀阿里云盘古分布式存储资深技术专家储道,为大家带来干货分享。本节课程《分布式存储技术》,欢迎大家前来学习。
  • 本文指出了cdma2000 1x和EV-DO是CDMA运营商长久依托并需要大力发展的网络,分析了CDMA运营商部署LTE网络时需重点考虑其与cdma2000 1x和EV-DO网络的互操作以实现协同提供业务。此外,本文还对移动网络演进对于终端的...
  • 阿里云总监系列课重磅上线!...第三期《深入解析数据存储技术原理及发展演进》特邀阿里云盘古分布式存储资深技术专家储道,为大家带来干货分享。本节课程《Linux开源存储技术》,欢迎大家前来学习。
  • 阿里云总监系列课重磅上线!...第三期《深入解析数据存储技术原理及发展演进》特邀阿里云盘古分布式存储资深技术专家储道,为大家带来干货分享。本节课程《数据存储硬件技术》,欢迎大家前来学习。
  • 阿里云总监系列课重磅上线!...第三期《深入解析数据存储技术原理及发展演进》特邀阿里云盘古分布式存储资深技术专家储道,为大家带来干货分享。本节课程《数据存储技术概述》,欢迎大家前来学习。
  • 阿里云总监系列课重磅上线!...第三期《深入解析数据存储技术原理及发展演进》特邀阿里云盘古分布式存储资深技术专家储道,为大家带来干货分享。本节课程《 数据保护技术(二)》,欢迎大家前来学习。
  • 阿里云总监系列课重磅上线!...第三期《深入解析数据存储技术原理及发展演进》特邀阿里云盘古分布式存储资深技术专家储道,为大家带来干货分享。本节课程《 数据保护技术(一)》,欢迎大家前来学习。
  • 阿里云总监系列课重磅上线!...第三期《深入解析数据存储技术原理及发展演进》特邀阿里云盘古分布式存储资深技术专家储道,为大家带来干货分享。本节课程《阿里云存储技术及产品》,欢迎大家前来学习。
  • 阿里云总监系列课重磅上线!...第三期《深入解析数据存储技术原理及发展演进》特邀阿里云盘古分布式存储资深技术专家储道,为大家带来干货分享。本节课程《存储虚拟化及块存储技术》,欢迎大家前来学习。
  • 数据中心是数据集中存储和管理的中心,也是当前及未来发展的方向,国家电网作为国民经济的基础支撑行业,数据中心的发展对企业经营管理、电力生产、社会能源节约具有重要现实意义。本文总结了国家电网公司数据中心...
  • 本文简要介绍了自2006年TD-SCDMA规模网络技术应用试验以来,TD-SCDMA在技术和设备方面所取得的重大...TD-SCDMA设备性能不断提高,设备类型日趋丰富,基带拉远设备已成为发展方向,天馈系统工程实施的便利性也大有改观。
  • 企业的服务框架, 也随着计算机的发展, 层层迭代, 由最早的单一型应用服务发展至现在满足于几亿甚至几十亿的人民的大型服务 框架的演进 一、垂直型服务 单一型应用 早期, 企业的对外提供的服务比较单一, 客户...

    前言

    从计算机诞生到现在其实也就短短几十年, 从最早的军事使用,到投入商业, 直至现在走入寻常百姓家中。用日新月异来形容毫不为过。 企业的服务框架, 也随着计算机的发展, 层层迭代, 由最早的单一型应用服务发展至现在满足于几亿甚至几十亿的人民的大型服务

    框架的演进

    一、垂直型服务

    单一型应用

    早期, 企业的对外提供的服务比较单一, 客户流量也相对不足。 因此将所有的模块,代码打包在一个项目中,集中部署一台机器上。

    这样操作简单粗暴,运维人员只要关注这一台服务器就了事了。

    但是问题来了, 如果服务器宕机了怎么办呢, 这不就意味着无法对外提供服务了吗?

    主备机应用

    为解决上述问题, 倒也简单, 给每台机器增加几台备机不就行了吗?

    服务器挂掉了, 快速切换服务器,依旧能及时满足对外服务。

    可是问题又来了, 企业是在快速发展的啊。

    企业的客户会越来越多, 流量越来越大, 单单一台服务器对外提供服务, 哪里撑得住啊, 不分分钟被搞挂掉才怪。

    多机服务 + 负载均衡

    于是乎, 我们多增加几台服务器,通过负载均衡器(F5或者NGINX等)将客户请求(按负载均衡算法)合理的分配到各台机器上, 让各台机器同时提供对外服务。

    这样每台服务的器压力降低了, 能快速和安全的服务于客户了。

    现在, 由于我们提供的服务让客户非常满意, 公司赚钱了, 开始要拓展业务了, 不再是之前的单一服务了, 我们要做大做强。

    于是我们需要疯狂开发新模块, 对外提供更多的优质服务。

    那么问题来了, 那么多模块, 我们总不能还是那么简单粗暴的挤在单一应用上吧。

    开发人员还怎么愉快的合作了? 代码合并的时候,还不分分钟掀桌子?

    而且,每台机器的算力毕竟有限, 所有模块集中在同一个应用上,不是很不合理吗?

    因此,我们需要把几个模块独立出去, 形成新的服务。

    当服务于服务之间存在依赖时, 再让两者进行交互, 完成数据传递。

    那服务间怎么交互呢? 这就要说说RPC了。

    二、RPC服务

    什么是RPC

    RPC(Remote Procedure Call)—远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。

    RPC使用

    有了RPC 服务间就能愉快的进行数据传递了。

    我们的架构就能得到很好的改良了。

    现在我们的框架分成了很多独立的小模块,模块间能实时的,有效的进行消息传递。

    并且业务与业务间得到很好的解耦, 机器的算力也不必再担心支撑不起系统了。看起来很完美。

    可是,运营人员不干了: 现在服务那么分散, 机器那么多,让我怎么管理? 哪天哪台服务挂掉了, 让我上哪找去?

    因此, 我们需要将我们的所有服务有效的管理起来。

    三、SOA

    什么是SOA

    面向服务的架构(SOA)是一个组件模型,它将应用程序的不同功能单元(称为服务)进行拆分,并通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的,它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种各样的系统中的服务可以以一种统一和通用的方式进行交互。

    阿里巴巴的Dubbo就是一个非常好的服务治理框架, 有兴趣的朋友可以去学习学习。

    SOA的使用

    通过SAO的服务治理方案, 我们将我们的框架进行终极改良。

    • 将所有的服务提供者注册到注册中心。
    • 客户端向注册中心订阅服务
    • 注册中心向客户端推送有效的服务信息
    • 客户端得到所有可调用服务的信息后, 根据需求,按负载均衡算法, 进行调用, 获取数据。

    我们将每次调用情况都记录在服务监控组件上,这样服务的调用情况,健康状况就一目了然了。

    更甚者,我们可以独立一个配置中心模块,如需要修改服务的配置信息时, 通过此模块实时推送配置信息到所有或者指定的机器上,进行动态修改。 运营人员再也不用一台机器一台机器的修改配置信息了。

    至此, 我们的框架可以有效的满足不断扩张的业务需求以及保证机器的平稳运行了。 到这里, 框架可以算是暂时定型了, 短期内, 不会再做什么大规模的改造了。


    到这里就结束了吗?那接下来的微服务又是什么呢, 还有必要升级吗?

    四、微服务

    什么是微服务

    微服务架构的系统是一个分布式的系统,每个微服务基本是一个能独立发布的应用服务,因此可以作为独立组件升级、灰度或复用等,对整个大应用的影响也较小,每个服务可以由专门的组织来单独完成,依赖方只要定好输入和输出口即可完全开发,甚至整个团队的组织架构也会更精简,因此沟通成本低、效率高。

    说的微服务, SpringCloud是绕不开的话题, 有兴趣的朋友可以去学习学习。

    微服务和SOA的差异

    SOA和微服务一脉相承, 都是面向服务的治理方案

    • 微服务颗粒度更细, 一个系统拆成多个服务, SOA颗粒度更大
    • 微服务功能独立, 独立部署; SOA单体架构,业务耦合
    • 微服务服务自治, 松散管理; SOA集中式管理

    随着敏捷开发、虚拟化技术、DevOps 理论的实践,微服务架构越来越被重视与应用。

    但是成熟的企业,已有成熟的架构, 完全没必要冒风险进行微服务改造。

    总的来说两者都有各自的优势, 具体如何使用, 则根据各个企业自身的考量。

    总结:

      简单来说企业应用架构演变(不严谨的说):从垂直架构模式(MVC)----->PRC架构模式------->到SOA模式-------->微服务。

      垂直架构:早期客户流量较少,所有的业务模块都是存放在一个项目里,部署配一台服务器就能解决我们的需求。

            但是如果就这一台服务器挂了,就不能再为用户提供服务,所以有了多台服务器,以备不时之需。

            但是虽然有备用的服务器,可归根到底应用资源还是都跑在一台服务器中,这就造成了资源浪费,所以就加入了负载均衡,就是说不能就人一台服务器干活!!!你们剩下的服务器也要分单压力,于是这样既能不浪费资源,还安全有效的服务了客户。

      RPC架构:RPC(Remote Procedure Call)远程过程调用。而PRC架构的引入,是为了解决应用与应用之间的交互问题。当垂直应用越来越多,应用之间交互不可避免,将核心和公共业务抽取出来,作为独立的服务,实现前后台逻辑分离。此时,用于提高业务复用及拆分的RPC框架是关键。他的底层是通过socket通信和序列化反序列化实现的。

       底层原理:https://www.cnblogs.com/huangqingshi/p/7803642.html66

        SOA架构:SOA架构的特点就是服务中心 随着业务发展,服务数量越来越多,服务生命周期管控和运行态的治理成为瓶颈,此时用于提升服务质量的SOA服务治理是关键。

     特点:

    • 将所有的服务提供者注册到注册中心。
    • 客户端向注册中心订阅服务
    • 注册中心向客户端推送有效的服务信息
    • 客户端得到所有可调用服务的信息后, 根据需求,按负载均衡算法, 进行调用, 获取数据。

      例子:阿里巴巴的Dubbo框架

       微服务:可以独立的部署、运行、升级,不仅如此,这个系统架构还让微服务与微服务之间在结构上“松耦合”,而在功能上则表现为一个统一的整体。这种所谓的“统一的整体”表现出来的是统一风格的界面,统一的权限管理,统一的安全策略,统一的上线过程,统一的日志和审计方法,统一的调度方式,统一的访问入口等等。
       微服务的目的:是有效的拆分应用,实现敏捷开发和部署 。
        微服务提倡的理念团队间应该是 inter-operate, not integrate 。inter-operate是定义好系统的边界和接口,在一个团队内全栈,让团队自治,原因就是因为如果团队按照这样的方式组建,将沟通的成本维持在系统内部,每个子系统就会更加内聚,彼此的依赖耦合能变弱,跨系统的沟通成本也就能降低。

     

     

    转载于:https://www.cnblogs.com/jiayiblog/p/11469228.html

    展开全文
  • 分析了目前 IP 与相关光传送网络相融合的主要技术,介绍了“IP+光”策略在接入、骨干网不同层面的网络组建基本模式,并对涉及的关键技术(包括 OTN、100 Gbit/s 速率、PON、PTN 等)的发展进程做了研究与分析,阐述...
  • 2018年中国智能硬件市场年度分析报告_中国移动_智能音箱.pptx
  • 随着浏览器的以及JavaScript标准的快速发展,前端技术的变化也越来越快;随着ECMAScript6的快速普及,前端开发的生产力开始爆发出来; 面对层出不穷的技术,我想我们应该去方式其背后发展的本质: 先来谈谈当前...

      随着浏览器的以及JavaScript标准的快速发展,前端技术的变化也越来越快;随着ECMAScript6的快速普及,前端开发的生产力开始爆发出来;

          面对层出不穷的技术,我想我们应该去方式其背后发展的本质:

          先来谈谈当前前端比较流行的3大框架:vue.js,angular2,reactjs

          1.angular2:

          2.reactjs:

      3.vue.js

    转载于:https://www.cnblogs.com/monion/p/6076960.html

    展开全文
  • 今天,我来给大家介绍一下,六种卷积神经网络,分别是:LeNet5、AlexNet、VGG、GooLeNet、ResNet和DenseNet,它们是从初期依次向前发展,它们其中一些获得Im...

    今天,我来给大家介绍一下,六种卷积神经网络,分别是:LeNet5、AlexNet、VGG、GooLeNet、ResNet和DenseNet,它们是从初期依次向前发展,它们其中一些获得ImageNet挑战赛的冠亚军。

    LeNet5

    如图所示,LeNet的网络结构

    LeNet最早是由深度学习之父Yann LeCun提出的,它是由输入层、卷积层、激活层、下采样层、全连接层组成的,主要用于解决手写数字识别视觉任务。

    以上图为例,对经典的LeNet-5做深入分析:

    1. 首先输入图像是单通道的28*28大小的图像,用矩阵表示就是[1,28,28]

    2. 第一个卷积层conv1所用的卷积核尺寸为5*5,滑动步长为1,卷积核数目为20,那么经过该层后图像尺寸变为24,28-5+1=24,输出矩阵为[20,24,24]。

    3. 第一个池化层pool核尺寸为2*2,步长2,这是没有重叠的max pooling,池化操作后,图像尺寸减半,变为12×12,输出矩阵为[20,12,12]。

    4. 第二个卷积层conv2的卷积核尺寸为5*5,步长1,卷积核数目为50,卷积后图像尺寸变为8,这是因为12-5+1=8,输出矩阵为[50,8,8].

    5. 第二个池化层pool2核尺寸为2*2,步长2,这是没有重叠的max pooling,池化操作后,图像尺寸减半,变为4×4,输出矩阵为[50,4,4]。

    6. pool2后面接全连接层fc1,神经元数目为500,再接relu激活函数。

    7. 再接fc2,神经元个数为10,得到10维的特征向量,用于10个数字的分类训练,送入softmaxt分类,得到分类结果的概率output。

    此后CNN没有新的突破,沉寂十多年,直到2012年在ImageNet 挑战赛上,AlexNet获得当年的冠军。

    AlexNet的网络结构,如图所示:

    相比原来它的优点:

    1. 使用ReLU非线性激活函数:克服梯度消失,提高训练的速度。

    2. 局部相应归一化LRN:提高精度。

    3. 数据增益和dropout:减少过拟合。

    什么是梯度消失?

    在神经网络中,当前面隐藏层的学习速率低于后面隐藏层的学习速率,即随着隐藏层数目的增加,分类准确率反而下降了。

    关于Relu的图像,relu函数表达式是f(x)=max(x,0)

    关于Dropout是怎样减少过拟合的?

    它的做法是在训练过程中按一定比例(比例参数可设置)随机忽略或屏蔽一些神经元。这些神经元被随机“抛弃”,也就是说它们正向传播过程中对于对于下游神经元的贡献效果暂时消失了,反向传播时该神经元也不会有任何权重的更新。

    喜欢记得来一个

    展开全文
  • 区块链技术的起源与发展演进

    千次阅读 2017-12-17 22:24:46
    这是一份PPT,其中部分内容引用了上海乐住CTO王玮在CCTC 2017区块链峰会上的开篇演讲——《区块链技术的回顾与展望》。PPT下载:
  • 今天我们以电商为例讲解决下分布式的技术架构的演进 1.一开始我们搭建一个初始版本的系统或在市场买一个系统,他们的架构或许是这样的如下图 一个机器部署一个tomcat和一个数据库。tomcat容器下部署所有的业务。...
  • 从传统存储到云存储的转变,其中经历了哪些设计思考与系统架构演变?涵盖硬件与软件的存储...针对数据存储技术的原理与演进发展,阿里云存储资深专家(储道)将倾囊相授,帮你打开数据存储大门,快来戳链接学习吧...
  • 2019DTC精彩分享:万象更新,数据库技术和生态的发展演进 此次分享的是专家是云和恩墨首席架构师,ACOUG 联合创始人,ACDU 理事长盖国强先生。盖老师拥有超过15年的数据库实施和顾问咨询经验,对于数据库性能优化及...
  • 针对数据存储技术的原理与演进发展,十多年存储研发经验资深专家吴忠杰(储道)将倾囊相授,帮你打开数据存储大门。 课程亮点 传承存储历史,领略通用数据存储技术 数据存储是一门涵盖硬件与软件的计算机...
  • 根据中本聪《比特币:一种点对点电子现金系统》论文,区块链是一种按照时间顺序将数据区块以顺序相连的方式组合成的链式数据结构,并以密码学方式保证不可篡改和不可伪造的分布式账本。 广义来讲,区块链技术是...
  • (结合《J2SE发展演变史》 Matrix社区 总结) J2SE1.4:  发布时间2002年2月13日 1)HotSpot虚拟机: 2)锁机制:由于旧版的HotSpot虚拟机的锁机制会导致严重的性能和功能问题,J2SE1.4...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,224
精华内容 2,889
关键字:

发展演进