精华内容
下载资源
问答
  • 22 名词解释 Job

    2018-06-29 10:17:23
    Job负责批量处理短暂的一次性任务 (short lived one-off tasks),即仅执行一次的任务,它保证批处理任务的一个或多个Pod成功结束。Kubernetes支持以下几种Job:非并行Job:通常创建一个Pod直至其成功结束固定结束...
    Job负责批量处理短暂的一次性任务 (short lived one-off tasks),即仅执行一次的任务,它保证批处理任务的一个或多个Pod成功结束。
    Kubernetes支持以下几种Job:
    • 非并行Job:通常创建一个Pod直至其成功结束
    • 固定结束次数的Job:设置.spec.completions,创建多个Pod,直到.spec.completions个Pod成功结束
    • 带有工作队列的并行Job:设置.spec.Parallelism但不设置.spec.completions,当所有Pod结束并且至少一个成功时,Job就认为是成功
    根据.spec.completions和.spec.Parallelism的设置,可以将Job划分为以下几种pattern:
    Job类型
    使用示例
    行为
    completions
    Parallelism
    一次性Job
    数据库迁移
    创建一个Pod直至其成功结束
    1
    1
    固定结束次数的Job
    处理工作队列的Pod
    依次创建一个Pod运行直至completions个成功结束
    2+
    1
    固定结束次数的并行Job
    多个Pod同时处理工作队列
    依次创建多个Pod运行直至completions个成功结束
    2+
    2+
    并行Job
    多个Pod同时处理工作队列
    创建一个或多个Pod直至有一个成功结束
    1
    2+

    Job Controller

    Job Controller负责根据Job Spec创建Pod,并持续监控Pod的状态,直至其成功结束。如果失败,则根据restartPolicy(只支持OnFailure和Never,不支持Always)决定是否创建新的Pod再次重试任务。

    Job Spec格式

    • spec.template格式同Pod
    • RestartPolicy仅支持Never或OnFailure
    • 单个Pod时,默认Pod成功运行后Job即结束
    • .spec.completions标志Job结束需要成功运行的Pod个数,默认为1
    • .spec.parallelism标志并行运行的Pod的个数,默认为1
    • spec.activeDeadlineSeconds标志失败Pod的重试最大时间,超过这个时间不会继续重试
    一个简单的例子:
    apiVersion: batch/v1
    kind: Job
    metadata:
    name: pi
    spec:
    template:
    metadata:
    name: pi
    spec:
    containers:
    - name: pi
    image: perl
    command: ["perl", "-Mbignum=bpi", "-wle", "print bpi(2000)"]
    restartPolicy: Never
    $ kubectl create -f ./job.yaml
    job "pi" created
    $ pods=$(kubectl get pods --selector=job-name=pi --output=jsonpath={.items..metadata.name})
    $ kubectl logs $pods
    3.141592653589793238462643383279502...
    固定结束次数的Job示例
    apiVersion: batch/v1
    kind: Job
    metadata:
    name: busybox
    spec:
    completions: 3
    template:
    metadata:
    name: busybox
    spec:
    containers:
    - name: busybox
    image: busybox
    command: ["echo", "hello"]
    restartPolicy: Never

    Bare Pods

    所谓Bare Pods是指直接用PodSpec来创建的Pod即不在ReplicaSets或者ReplicationCtroller的管理之下的Pods)。这些Pod在Node重启后不会自动重启,但Job则会创建新的Pod继续任务。所以,推荐使用Job来替代Bare Pods,即便是应用只需要一个Pod。

    参考文档



    展开全文
  • 四、基本名词解释 一.背景 RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue)的开源实现。 二.应用场景 2.1异步处理 场景说明:用户注册后,需要发注册邮件和注册短信,传统的...
    目录 


    一、背景


    二、 应用场景

     

    三、 系统架构

     

    四、基本名词解释

     
     
     
     
     

    一.背景

    RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue)的开源实现。

    二.应用场景

    2.1异步处理

    场景说明:用户注册后,需要发注册邮件和注册短信,传统的做法有两种1.串行的方式;2.并行的方式 
    (1)串行方式:将注册信息写入数据库后,发送注册邮件,再发送注册短信,以上三个任务全部完成后才返回给客户端。 这有一个问题是,邮件,短信并不是必须的,它只是一个通知,而这种做法让客户端等待没有必要等待的东西. 
    这里写图片描述
    (2)并行方式:将注册信息写入数据库后,发送邮件的同时,发送短信,以上三个任务完成后,返回给客户端,并行的方式能提高处理的时间。 
    这里写图片描述 
    假设三个业务节点分别使用50ms,串行方式使用时间150ms,并行使用时间100ms。虽然并性已经提高的处理时间,但是,前面说过,邮件和短信对我正常的使用网站没有任何影响,客户端没有必要等着其发送完成才显示注册成功,英爱是写入数据库后就返回. 
    (3)消息队列 
    引入消息队列后,把发送邮件,短信不是必须的业务逻辑异步处理 
    这里写图片描述 
    由此可以看出,引入消息队列后,用户的响应时间就等于写入数据库的时间+写入消息队列的时间(可以忽略不计),引入消息队列后处理后,响应时间是串行的3倍,是并行的2倍。

    2.2 应用解耦

    场景:双11是购物狂节,用户下单后,订单系统需要通知库存系统,传统的做法就是订单系统调用库存系统的接口. 
    这里写图片描述 
    这种做法有一个缺点:

    • 当库存系统出现故障时,订单就会失败。(这样马云将少赚好多好多钱^ ^)
    • 订单系统和库存系统高耦合. 
      引入消息队列 
      这里写图片描述

    • 订单系统:用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功。

    • 库存系统:订阅下单的消息,获取下单消息,进行库操作。 
      就算库存系统出现故障,消息队列也能保证消息的可靠投递,不会导致消息丢失(马云这下高兴了).

    流量削峰

    流量削峰一般在秒杀活动中应用广泛 
    场景:秒杀活动,一般会因为流量过大,导致应用挂掉,为了解决这个问题,一般在应用前端加入消息队列。 
    作用: 
    1.可以控制活动人数,超过此一定阀值的订单直接丢弃(我为什么秒杀一次都没有成功过呢^^) 
    2.可以缓解短时间的高流量压垮应用(应用程序按自己的最大处理能力获取订单) 
    这里写图片描述 
    1.用户的请求,服务器收到之后,首先写入消息队列,加入消息队列长度超过最大值,则直接抛弃用户请求或跳转到错误页面. 
    2.秒杀业务根据消息队列中的请求信息,再做后续处理.

    .系统架构

    这里写图片描述 

    四.基本名词解释

    1、ConnectionFactory、Connection、Channel

    ConnectionFactory、Connection、Channel都是RabbitMQ对外提供的API中最基本的对象。

    Connection是RabbitMQ的socket链接,它封装了socket协议相关部分逻辑。

    ConnectionFactory为Connection的制造工厂。

    Channel是我们与RabbitMQ打交道的最重要的一个接口,我们大部分的业务操作是在Channel这个接口中完成的,包括定义Queue、定义Exchange、绑定Queue与Exchange、发布消息等。

    2、Queue

    Queue(队列)是RabbitMQ的内部对象,用于存储消息,用下图表示。

    RabbitMQ中的消息都只能存储在Queue中,生产者(下图中的P)生产消息并最终投递到Queue中,消费者(下图中的C)可以从Queue中获取消息并消费。

    多个消费者可以订阅同一个Queue,这时Queue中的消息会被平均分摊给多个消费者进行处理,而不是每个消费者都收到所有的消息并处理。

    3、Message acknowledgment

    在实际应用中,可能会发生消费者收到Queue中的消息,但没有处理完成就宕机(或出现其他意外)的情况,这种情况下就可能会导致消息丢失。为了避免这种情况发生,我们可以要求消费者在消费完消息后发送一个回执给RabbitMQ,RabbitMQ收到消息回执(Message acknowledgment)后才将该消息从Queue中移除;如果RabbitMQ没有收到回执并检测到消费者的RabbitMQ连接断开,则RabbitMQ会将该消息发送给其他消费者(如果存在多个消费者)进行处理。这里不存在timeout概念,一个消费者处理消息时间再长也不会导致该消息被发送给其他消费者,除非它的RabbitMQ连接断开。

    这里会产生另外一个问题,如果我们的开发人员在处理完业务逻辑后,忘记发送回执给RabbitMQ,这将会导致严重的bug——Queue中堆积的消息会越来越多;消费者重启后会重复消费这些消息并重复执行业务逻辑…

    另外pub message是没有ack的。

    4、Message durability

    如果我们希望即使在RabbitMQ服务重启的情况下,也不会丢失消息,我们可以将Queue与Message都设置为可持久化的(durable),这样可以保证绝大部分情况下我们的RabbitMQ消息不会丢失。但依然解决不了小概率丢失事件的发生(比如RabbitMQ服务器已经接收到生产者的消息,但还没来得及持久化该消息时RabbitMQ服务器就断电了),如果我们需要对这种小概率事件也要管理起来,那么我们要用到事务。由于这里仅为RabbitMQ的简单介绍,所以这里将不讲解RabbitMQ相关的事务。

    5、Prefetch count

    前面我们讲到如果有多个消费者同时订阅同一个Queue中的消息,Queue中的消息会被平摊给多个消费者。这时如果每个消息的处理时间不同,就有可能会导致某些消费者一直在忙,而另外一些消费者很快就处理完手头工作并一直空闲的情况。我们可以通过设置prefetchCount来限制Queue每次发送给每个消费者的消息数,比如我们设置prefetchCount=1,则Queue每次给每个消费者发送一条消息;消费者处理完这条消息后Queue会再给该消费者发送一条消息。

    6、Exchange

    在上一节我们看到生产者将消息投递到Queue中,实际上这在RabbitMQ中这种事情永远都不会发生。实际的情况是,生产者将消息发送到Exchange(交换器,下图中的X),由Exchange将消息路由到一个或多个Queue中(或者丢弃)。

    Exchange是按照什么逻辑将消息路由到Queue的?这个将在下面的8、Binding中介绍。

    RabbitMQ中的Exchange有四种类型,不同的类型有着不同的路由策略,这将在下面的10、Exchange Types中介绍。

    7、routing key

    生产者在将消息发送给Exchange的时候,一般会指定一个routing key,来指定这个消息的路由规则,而这个routing key需要与Exchange Type及binding key联合使用才能最终生效。

    在Exchange Type与binding key固定的情况下(在正常使用时一般这些内容都是固定配置好的),我们的生产者就可以在发送消息给Exchange时,通过指定routing key来决定消息流向哪里。RabbitMQ为routing key设定的长度限制为255 bytes。

    8、Binding

    RabbitMQ中通过Binding将Exchange与Queue关联起来,这样RabbitMQ就知道如何正确地将消息路由到指定的Queue了。

    9、Binding key

    在绑定(Binding)Exchange与Queue的同时,一般会指定一个binding key;消费者将消息发送给Exchange时,一般会指定一个routing key;当binding key与routing key相匹配时,消息将会被路由到对应的Queue中。这个将在Exchange Types章节会列举实际的例子加以说明。

    在绑定多个Queue到同一个Exchange的时候,这些Binding允许使用相同的binding key。
    binding key 并不是在所有情况下都生效,它依赖于Exchange Type,比如fanout类型的Exchange就会无视binding key,而是将消息路由到所有绑定到该Exchange的Queue。

    10、Exchange Types

    RabbitMQ常用的Exchange Type有fanout、direct、topic、headers这四种(AMQP规范里还提到两种Exchange Type,分别为system与自定义,这里不予以描述),下面分别进行介绍。

    fanout

    fanout类型的Exchange路由规则非常简单,它会把所有发送到该Exchange的消息路由到所有与它绑定的Queue中。

    上图中,生产者(P)发送到Exchange(X)的所有消息都会路由到图中的两个Queue,并最终被两个消费者(C1与C2)消费。

    direct

    direct类型的Exchange路由规则也很简单,它会把消息路由到那些binding key与routing key完全匹配的Queue中。

    以上图的配置为例,我们以routingKey=”error”发送消息到Exchange,则消息会路由到Queue1(amqp.gen-S9b…,这是由RabbitMQ自动生成的Queue名称)和Queue2(amqp.gen-Agl…);如果我们以routingKey=”info”或routingKey=”warning”来发送消息,则消息只会路由到Queue2。如果我们以其他routingKey发送消息,则消息不会路由到这两个Queue中。

    topic

    前面讲到direct类型的Exchange路由规则是完全匹配binding key与routing key,但这种严格的匹配方式在很多情况下不能满足实际业务需求。topic类型的Exchange在匹配规则上进行了扩展,它与direct类型的Exchage相似,也是将消息路由到binding key与routing key相匹配的Queue中,但这里的匹配规则有些不同,它约定:

    routing key为一个句点号“. ”分隔的字符串(我们将被句点号“. ”分隔开的每一段独立的字符串称为一个单词),如“stock.usd.nyse”、“nyse.vmw”、“quick.orange.rabbit”

    binding key与routing key一样也是句点号“. ”分隔的字符串。

    binding key中可以存在两种特殊字符“*”与“#”,用于做模糊匹配,其中“*”用于匹配一个单词,“#”用于匹配多个单词(可以是零个)。

    以上图中的配置为例,routingKey=”quick.orange.rabbit”的消息会同时路由到Q1与Q2,routingKey=”lazy.orange.fox”的消息会路由到Q1与Q2,routingKey=”lazy.brown.fox”的消息会路由到Q2,routingKey=”lazy.pink.rabbit”的消息会路由到Q2(只会投递给Q2一次,虽然这个routingKey与Q2的两个bindingKey都匹配);routingKey=”quick.brown.fox”、routingKey=”orange”、routingKey=”quick.orange.male.rabbit”的消息将会被丢弃,因为它们没有匹配任何bindingKey。

    headers

    headers类型的Exchange不依赖于routing key与binding key的匹配规则来路由消息,而是根据发送的消息内容中的headers属性进行匹配。

    在绑定Queue与Exchange时指定一组键值对;当消息发送到Exchange时,RabbitMQ会取到该消息的headers(也是一个键值对的形式),对比其中的键值对是否完全匹配Queue与Exchange绑定时指定的键值对;如果完全匹配则消息会路由到该Queue,否则不会路由到该Queue。

    该类型的Exchange没有用到过(不过也应该很有用武之地),所以不做介绍。

    11、RPC

    MQ本身是基于异步的消息处理,前面的示例中所有的生产者(P)将消息发送到RabbitMQ后不会知道消费者(C)处理成功或者失败(甚至连有没有消费者来处理这条消息都不知道)。

    但实际的应用场景中,我们很可能需要一些同步处理,需要同步等待服务端将我的消息处理完成后再进行下一步处理。这相当于RPC(Remote Procedure Call,远程过程调用)。在RabbitMQ中也支持RPC。

    RabbitMQ中实现RPC的机制是:

    客户端发送请求(消息)时,在消息的属性(MessageProperties,在AMQP协议中定义了14中properties,这些属性会随着消息一起发送)中设置两个值replyTo(一个Queue名称,用于告诉服务器处理完成后将通知我的消息发送到这个Queue中)和correlationId(此次请求的标识号,服务器处理完成后需要将此属性返还,客户端将根据这个id了解哪条请求被成功执行了或执行失败);

    服务器端收到消息并处理;

    服务器端处理完消息后,将生成一条应答消息到replyTo指定的Queue,同时带上correlationId属性;

    客户端之前已订阅replyTo指定的Queue,从中收到服务器的应答消息后,根据其中的correlationId属性分析哪条请求被执行了,根据执行结果进行后续业务处理。

    转载于:https://www.cnblogs.com/Luwak90/p/9405563.html

    展开全文
  • 它以拥有一个非常完备的查询优化器而著称,其外部连接改善了查询性能,并支持多任务并行查询。 DB2具有很好的网络支持能力,每个子系统可以连接十几万个分布式用户,可同时激活上千个活动线程,对大型分布式应用...
  • 二、大数据相关的几个名词解释

    千次阅读 2016-07-08 22:05:49
    MapReduce编程模型 ...MapReduce程序本质上是并行运行的,由JobTrackers和TaskTrackers组成。其优势在于处理大规模数据集。 将查询表示成MapReduce作业,过程分为两个处理阶段:map阶段和reduce阶段。 HDFS
    • MapReduce编程模型

    1. MapReduce是一套从海量源数据提取分析元素最后返回结果集的编程模型。编程模型是处理并结构化特定问题的方式。
    2. MapReduce程序本质上是并行运行的,由JobTrackers和TaskTrackers组成。其优势在于处理大规模数据集。
    3. 将查询表示成MapReduce作业,过程分为两个处理阶段:map阶段和reduce阶段。

    • HDFS
    基于Hadoop的开源分布式文件系统,以Google的GFS为原型设计并实现具有高可靠性、高性能、可伸缩、实时读写的分布式文件系统。

    • HBase
    基于Hadoop的开源数据库,以Google的BigTable为原型,设计并实现具有高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。

    • 大数据中间件
    在网上搜索大数据中间件并没有准确的定义,只有中间件的定义,而且还有不同的说法。

    中间件:

    1. 我国学术界一般认可的定义是中间件是指网络环境下处于操作系统、数据库等系统软件和应用软件之间的一种起连接作用的分布式软件,主要解决异构网络环境下分布式应用软件的互连与互操作问题,提供标准接口、协议,屏蔽实现细节,提高应用系统易移植性(北京大学梅宏)。
    2. 中科院软件所研究员仲萃豪形象地把中间件定义为平台+通信。这个定义限定了只有用于分布式系统中的此类软件才能被称为中间件,同时此定义还可以把中间件与支撑软件和实用软件区分开来。

    说一下我肤浅的理解,也并不一定正确。
    大数据中间件:处于操作系统、分布式数据库(例如HBase)和运行于大数据平台上的应用程序之间,起连接作用使其相互通信的软件系统。
    一般大数据中间件可提供有关数据存储、查询、导入导出、删除以及计算分析等工具。


    展开全文
  • 近期发现部分同学对并发、并行和同步三个概念的理解有混淆,所以做一下简单的名词解释,并用一个(写的很烂)的故事来帮助大家理解 :) 名词解释 并发 (Concurrency):并发是一种机制,即指“同时有多个请求被...

    前言

    近期发现部分同学对并发、并行和同步三个概念的理解有混淆,所以做一下简单的名词解释,并用一个(写的很烂)的故事来帮助大家理解 :)

    名词解释

    1. 并发Concurrency):并发是一种机制,即指“同时有多个请求被发起,或另一种意义上说支持同时有多个线程存在”;支持并发即是要能够包容同时来到的多个请求,或说包容同时存在的多个线程
      • 处理这多个请求的方式可以是并行的,这样就要求硬件需要有多个计算核心
      • 也可以是只有一个计算资源,处理完一个请求再处理第二个 / 在不同请求间不停切换运行,意味着同时可以有许多线程存在,但每一时刻正在跑的线程只有一个
    2. 并行Parallelism):并行是一种处理方式(或可以说是一种架构方式),即指“有多个计算核心,可以在同一时间同时处理多个任务 / 把一个任务分割成小块,在同一时间同时处理多个部分”
    3. 同步Synchronization):同步是一种要求,即指“在支持并发的情况下,不同请求之间(线程之间)不能发生数据冲突或资源抢占冲突”
      • 要做好同步,往往需要保证对某个资源的操作是原子性 (Atomic)的
      • 有时,同步也指“通过某些机制来限制同时存在的多个线程的执行顺序”这一要求

    故事

    有位女孩名叫 CPU ,很多男孩子都喜欢她。

    有一天,男孩 Request-A 来邀请女孩约会,女孩答应了。正当他们进展顺利之时,另一个男孩 Request-B 又找到女孩,请求与她约会。女孩一时尴尬,面对两个男孩子不知道怎么办才好,只能惊慌失措逃回家里。体验了这次不愉快的约会经历后,女孩去看了心理医生,心理医生为她写下诊断报告:“不支持并发Concurrency),同时面对两个约会请求就会panic。”

    心理医生为她重新疏导了面对这种尴尬的应对方式。不久后,男孩 Request-C 来邀请女孩约会,女孩欣然答应了。不巧,男孩 Request-D 在这时候又来找她。女孩这次并不害怕了,她也同意了D的请求,可是,自己只有一个人,没法同时和两个男孩约会呀?她只好让 D 等等,先与 C 约会一会,再开始和 D 的约会,进行了一会之后再返回 C 身边,如此往复。女孩对这样的进步非常满意,在日记里写下:“终于支持了并发,真开心,只可惜还不能并行Parallelism)呀。”

    女孩以这样的方式生活了一段时间,直到她的生日前夜,她遇到了一个重大的问题。男孩 Request-E 和 Request-F 同时来找女孩约会,女孩如往常一样在他俩之间切换来去。时间到达她生日的当天零点, E 和 F 都计划着在这一时刻在女孩的记事本上写下深情告白,不幸的是,两个人互相争抢,都想先写下告白,一番拉扯之后,记事本只剩下一堆杂乱的废纸。男孩 E 和 F 对女孩记事本的脆弱表现得很不高兴,纷纷指责女孩道:“你支持了并发,怎么没有做好同步Synchronization)!”

    女孩非常生气和懊悔,于是她思来想去,想到了一个好办法。她为自己的记事本配了一支 Mutex-Lock 牌的特殊的笔,只有拿着这一支笔才能在这本记事本上写下东西。第二年的生日很快到了,前来写下告白的男孩们不得不排好队,等待前一个人用这只笔写完,将笔传给自己,才能写下自己的告白。女孩终于通过锁实现了同步。

    就这样又过了很久,来邀请女孩约会的男孩子们越来越多,女孩渐渐对频繁奔波的约会方式感到劳累,她觉得这样下去效率实在太低了。正值科技蓬勃发展,她决定,花费重金,克隆三个新的自己。从此之后,女孩总能同一时刻应付四个男孩子的约会,而不用来回奔波,约会的效率真的大大提高了。

    只可惜的是,她还是只有一本记事本。又一年生日,来写告白的男孩子排成了长龙。她的四个分身却无所事事,不得不等待写告白的男生一个一个的写完,以继续约会。分身们觉得不妥,相互一讨论,得出结论:“我们遇到了瓶颈Bottleneck)啦。”

    吸取了这次的教训,女孩的每个分身都各自买了一本记事本,只要在每次生日夜结束之后,请一个分身将四本记事本上的告白信息汇总起来,写在一本本子上就可以了。

    经历了这么多风风雨雨,女孩看到科技的发展将为她带来越来越多的新技术,让她约会的效率得到惊人的提高,她觉得未来充满了希望。

    展开全文
  • 自我介绍 广东双非一本的大三小白,计科...由于GPU具有高并行结构,所以GPU在处理图形数据和复杂算法方面拥有比CPU更高的效率。 CPU大部分面积为控制器和寄存器,与之相比,GPU拥有更多的 ALU(Arithmetic Logic Unit ,
  • (1)计算机应用技术:计算机网络,计算机图形学,网络信息安全,数据库,数据挖掘,分布式计算,计算机视觉,机器学习,信息可视化,自然语言处理,机器翻译 (2)计算机软件与理论:算法研究,并行计算,密码学,...
  • [b]多道程序设计[/b] 是在计算机内存中同时存放几道相互独立的程序,使它们在管理程序控制之下,...又称为共行性是指能处理多个同时性活动的能力。 [b]并行性[/b] 是指同时发生的两个并发事件。 [b]分时技术...
  • 一些名词

    2019-09-18 19:01:58
    怎样才能把并发和并行 通俗的解释一下? Erlang 之父 Joe Armstrong 用一张5岁小孩都能看懂的图解释了并发与并行的区别: (并发可以理解为一个cpu同时处理多个任务) (并行可以理解为多个cpu同时处理多个任务) ...
  • 操作系统名词术语解释 名词术语 操作系统:操作系统是控制和管理计算机硬件与软件资源,合理地组织计算机的工作流程,以及方便用户的程序的集合。其主要功能是实现处理机管理、内存管理、IO设备管理、文件管理...
  • 【计算机相关名词

    2020-03-01 00:25:02
    此篇在于记录平日学习生活中所遇到的专业方面的名词,通过解释其含义,可以加深理解,保持搜索热情,并且便于日后查询。 工作站 Workstation: 是一种性能高于普通PC的通用微型计算机。外部通常表现为多屏显示器和...
  • 1 名词解释  并行 : 即两件事情或多件事情,在同一时间点同时执行.是从微观上,也就是在一个精确的时间片刻有不同的程序在执行,这就要求必须有多个处理器  并发 : 即两件事情或多件事情在同一时间段交替进行.是...
  • 云计算的解释

    2008-05-13 09:48:00
    “云计算”(Cloud Computing)是分布式处理(Distributed Computing)、并行处理(ParallelComputing)和网格计算(GridComputing)的发展,或者说是这些计算机科学概念的商业实现。许多跨国信息技术行业的公司如IBM、Yahoo...
  • Nginx-详解其原理

    千次阅读 多人点赞 2020-05-22 11:07:07
    作为Web服务器,设计的初衷就是为了能够处理更多的客户端的请求,一般来说,完成并行处理请求工作有三种方式可以选择,多进程、多线程、异步方式。 多进程方式   服务器每接收到一个客户端请求,就会由主进程生成...
  • 名词解释:一个3分 总分30 简答题:一个5分 总分40 编程题:一个10分 总分30 高性能计算导论复习(根据复习范围) 第二章:高性能计算基础 并行计算三条件 并行并行机至少包含两台或两台以上处理机,这些处理...
  • 【2】每个map函数对所划分的数据并行处理,产生不同的中间结果输出。 【3】对map的中间结果数据进行收集整理(aggregate & shuffle)处理,交给reduce。 【4】reduce进行计算最终结果。 【5】汇总所有reduce的输出...
  • android开发之OpenGL(二)

    千次阅读 2018-04-19 00:31:44
    名词解释: 1、图元:图形软件用来描述各种图形的函数。 2、OpenGL渲染管线 渲染流水线:是显卡芯片内部处理图形信号相互独立的并行处理单元。简单理解就是把数据转化到OpenGL并且生成最终图像的一个过程! ...
  • kafka 学习笔记

    2019-01-29 09:36:43
    名词解释 名词 解释 Producer 消息的生成者 Consumer 消息的消费者 ConsumerGroup 消费者组,可以并行消费Topic中的partition的消息 Broker 缓存代理,Kafka集群中的一台或多台服务器统称broker. Topic Kafka...
  • Hadoop生态体系

    2019-03-13 06:11:46
    1.Hadoop的优势: ...1)Map阶段并行处理输入数据 2)Reduce阶段对Map结果进行汇总 5.大数据技术生态体系 图中涉及的技术名词解释如下: 1)Sqoop:Sqoop(斯库伯)是一款开源的工具,主要用于...
  • 计算机网络

    千次阅读 2013-03-06 22:06:37
    名词解释和答案  1、数据通信  数据通信是网络的基本功能,数据通信传送的信息有字符、声音、图片、动画和视频等多媒体信息。  2、资源共享  资源共享是网络能够将系统内、外的所有软、硬件资源,包括数据...
  • 1.并发编程名词解释(重点) 并行:多个处理器或者是多核的处理器同时处理多个不同的任务 并发:一个处理器同时处理多个任务   同步:某段时间只有一个线程执行一个任务 异步:某段时间多个线程执行一个任务 ...
  • 常用名词解释 1、图元 用来组成图像的最基本元素,所有的图像都由且仅由图元组成。图元包含 点、 线段、 三角形。 2、OpenGL渲染管线 显示芯片内部处理图形信号互相独立的并行处理单元,即一系列有序的处理...
  • # Daemon和Service

    2020-06-24 14:00:39
    名词解释 实现服务的运行程序–Daemon 举例:完成周期性计划任务的程序为crond这个daemon。 systemd优点: 1. 并行处理所有的服务,加速开机流程 2. 一经要求就响应的on-daemon启动方式(常驻于内存) 3. 服务依赖...
  • 关于类虚拟化的名词解释,在前面的翻译中,Paravirtualization被翻译为超虚拟化,该翻译参考自IBM对虚拟化分类的描述中。在国内的出版物中,由因特尔开源软件技术中心和复旦大学并行处理研究所共同编著的 《*系统...
  • 关于类虚拟化的名词解释,在前面的翻译中,Paravirtualization被翻译为超虚拟化,该翻译参考自IBM对虚拟化分类的描述中。在国内的出版物中,由因特尔开源软件技术中心和复旦大学并行处理研究所共同编著的 《*系统...
  • 高性能计算考点整理

    2020-12-05 15:39:46
    预计必考很多名词解释 第一章 串行计算的定义 并行计算的定义(第一章第二章的都行) 并行计算的目的 可能都是简答题 分布式计算的定义 分布式计算将该应用分解成许多小的部分,分配给多台计算机进行处理而后在统合...
  • 在上一遍博文中,已经将hadoop集群环境搭建完毕。那么,接下来,笔者再根据安装过程中的一些名词对象进行解释,以及大致的运行原理。最后,再获取hadoop-example jar中的单词计数源码,... MapReduce:并行处理框架,实
  • 工作流的学习

    2018-09-04 10:27:54
    名词解释 业务:工作流所指业务涵盖了与经营相关的活动。 串行或并行:业务中的步骤也许以一步接着一步的方式进行,我们称之为串行;或者由不同的人或组合根据不同的情况处理,我们称之为并行。 两个或两个以上的...

空空如也

空空如也

1 2 3
收藏数 58
精华内容 23
关键字:

并行处理名词解释