精华内容
下载资源
问答
  • DRS(动态资源调度
    2022-03-04 10:29:15

    本节更着上一节讲解DRS是什么:

    DRS是动态资源调度,英文全称是Dynamic Resource Scheduler,DRS的主要作用是指根据智能负载均衡算法去周期性的检查集群内主机的负载(CPU和内存)情况,在不同的主机之间迁移虚拟机,从而达到集群内主机间的负载均衡目的,保证系统的稳定性。

    那么我为什么在上一节就提到DRS呢?

    因为我们上面的迁移虚拟机就是热迁移,所以我们的DRS是使用到热迁移技术的。

    我们的DRS是针对集群主机负载进行的动态资源调度,那我提一个问题,在下节给出答案,看有没有小伙伴知道的 可以打在评论里:

    题目是:动态资源调整是什么是DRS吗?

    更多相关内容
  • 提出了一种基于改进式贪婪算法的网络切片动态资源调度策略,在切片调度和用户调度阶段,设计了一种两层模型,即切片?用户模型,并且结合改进式贪婪算法,使服务权重值最大的切片和优先级最高的用户组合,完成相应的...
  • 建立了无人作战飞机任务规划问题的数学模型, 提出了分层递阶的任务规划...心资源调度问题, 设计了基于遗传算法的动态资源调度算法, 有效地解决了多无人作战飞机的资源调度问题. 计算结 果表明了算法的有效性.</p>
  • 针对OpenStack云平台下计算资源动态调度的分析,采用于CPU、内存、存储以及网络综合负载均值算法实现计算资源动态调度,并展开云平台下数据中心和物理服务器的不均衡度分析,得出综合负载均值算法在计算资源动态调度...
  • Spark动态资源调度

    千次阅读 2021-12-23 19:30:19
    Spark动态资源调度

    Spark动态资源调度(只适用于spark on yarn)

    1.操作

    • 修改yarn的配置,使其支持Spark的shuffle Service,修改每个节点上的yarn-site.xml
    <!--修改-->
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle,spark_shuffle</value>
    </property>
    
    <!--添加-->
    <property>
    <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
    <value>org.apache.spark.network.yarn.YarnShuffleService</value>
    </property>
    <property>
    <name>spark.shuffle.service.port</name>
    <value>7337</value>
    </property>
    
    • 添加jar包

      将将 S P A R K H O M E / l i b / s p a r k − S p a r k 版 本 号 − y a r n − s h u f f l e . j a r 拷 贝 到 每 台 N o d e M a n a g e r 的 SPARKHOME/lib/spark-{Spark版本号}-yarn-shuffle.jar拷贝到每台NodeManager的 SPARKHOME/lib/sparkSparkyarnshuffle.jarNodeManager{HADOOPHOME}/share/hadoop/yarn/lib/下, 重启所有修改配置的节点

    • Spark的配置

    spark.shuffle.service.enabled true   #启用External shuffle Service服务(可以提交任务时指定)
    spark.dynamicAllocation.enabled true  #开启动态资源分配(可以提交任务时指定)
    spark.shuffle.service.port 7337      #Shuffle Service默认服务端口,与yarn-site中的一致
    spark.dynamicAllocation.initialExecutors 2 #初始化的executor数量(默认3)
    spark.dynamicAllocation.minExecutors 1  #每个Application最小分配的executor数(默认0)
    spark.dynamicAllocation.maxExecutors 30  #每个Application最大并发分配的executor数
    spark.dynamicAllocation.schedulerBacklogTimeout 1s #task挂起或者等待多长时间开始动态资源分配
    spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 5s #资源仍不足再次申请资源的间隔时间
    spark.dynamicAllocation.executorIdleTimeout 60 #executor空闲释放的时间
    

    2. 作业提交样例

    #动态提交作业
    SPARK_HOME=/usr/local/apps/spark-3.0.1
    ${SPARK_HOME}/bin/spark-submit \
    --master yarn \
    --deploy-mode cluster \
    --name "spark-pi" \
    --driver-memory 2g \
    --executor-cores 2 \
    --executor-memory 1g \
    --conf spark.shuffle.service.enabled=true \
    --conf spark.dynamicAllocation.enabled=true \
    --conf spark.dynamicAllocation.sustainedSchedulerBacklogTimeout=1 \
    --conf spark.dynamicAllocation.executorIdleTimeout=60 \
    --class org.apache.spark.examples.SparkPi \
    ${SPARK_HOME}/examples/jars/spark-examples_2.12-3.0.1.jar \
    2000
    
    /usr/local/apps/spark-3.0.1/sbin/start-thriftserver.sh \
    --master yarn \
    --deploy-mode client \
    --driver-memory 6g \
    --driver-cores 4 \
    --executor-cores 2 \
    --executor-memory 4g \
    --conf spark.shuffle.service.enabled=true \
    --conf spark.dynamicAllocation.enabled=true \
    --conf spark.dynamicAllocation.minExecutors=9 \
    --conf spark.dynamicAllocation.maxExecutors=30 \
    --conf spark.dynamicAllocation.sustainedSchedulerBacklogTimeout=1 \
    --conf spark.dynamicAllocation.executorIdleTimeout=60 \
    --hiveconf hive.server2.thrift.port=10001 \
    --hiveconf hive.server2.thrift.bind.host=server3
    
    展开全文
  • 对于在云环境下虚拟机放置问题,资源调度管理是其中一项关键技术,提出了一种基于最大综合利用率为标准的动态资源调度算法。该算法充分考虑云系统中计算资源权重比,利用基于权重的最大资源利用率的算法进行虚拟机...
  • 电网作为一个典型的物联网应用,电力无线专网上行调度过程中存在业务服务质量得不到保障、系统吞吐量低和资源分配不连续等问题,因此提出了基于业务优先级的电力无线专网上行动态资源调度算法。通过研究电力无线专网...
  • 建立了无人作战飞机任务规划问题的数学模型,提出了分层递阶的任务规划系统结构。...设计了基于遗传算法的动态资源调度算法,有效地解决了多无人作战飞机的资源调度问题。计算结果表明了算法的有效性。
  • 基于多目标优化的C2组织动态资源调度
  • 基于动态资源调度算法的数据中心负载均衡方案研究.pdf
  • 协作式Cloudlets在边缘计算中动态资源调度的Stackelberg博弈模型
  • LTE系统动态资源调度技术研究探讨 简要介绍基础内容基本算法
  • 移动云计算中的节能高效动态卸载和资源调度
  • 针对传统复杂系统资源调度方法存在节点资源利用率较低的问题,提出一种复杂系统资源动态调度方法,利用云计算分层模型对复杂系统进行初始资源分配,建立复杂系统资源动态调度模型实现复杂系统资源的动态调度。...
  • 操作系统中告诉缓存调度的OPT算法 简单实用,适合初学者交作业
  • 云计算环境下动态网络资源调度方法仿真.pdf
  • 动态调度的matlab代码非线性动力学与振动 莱特州立大学ME 7160非线性动力学和振动的注释,代码和其他文档 注意:由于本机可以呈现方程式,因此作业作业/时间表仍会发布在上。 (即我不必进行文件转换等)。 此存储库...
  • Kubernetes3--资源动态调度

    千次阅读 2018-11-24 10:14:18
    1.基于SLA驱动的资源动态调度算法 将应用分为不同类型,将不同应用调度到不同资源状态节点上,减少应用因资源不足带来的问题,根据SLA协议实时监控应用资源使用状况,动态调整应用资源占用率,提高资源使用率。 ...

    1.基于SLA驱动的资源动态调度算法

    将应用分为不同类型,将不同应用调度到不同资源状态节点上,减少应用因资源不足带来的问题,根据SLA协议实时监控应用资源使用状况,动态调整应用资源占用率,提高资源使用率。

    SLA协议:Service-Level Agreement的缩写,意思是服务等级协议。是关于网络服务供应商和客户间的一份合同,其中定义了服务类型、服务质量和客户付款等术语。

    监控容器在一段时间内资源使用率数据,使用拟合函数来拟合数据(机器学习回归),通过拟合函数来计算容器虚拟资源到达使用率上限的时间,根据时间对容器进行排序。

    1. tj时刻容器i的cpu使用率cij, 内存使用率mij

        

    2.线性回归得到cpu使用率与时间的拟合函数Ztjc  预测容器icpu使用率到达上限Ciu的时间ticu,令Ztjc=Ciu,解得ticu

    3.根据每个容器的ticu升序排列,得到排序方案Sc,容器i在排序方案中的序列号为Sic

    4.求得内存使用率与时间的拟合函数Ytjm    预测内存使用达到上限Miu的时间timu 令 Ytjm=Miu  得到timu

    5.根据每个容器的timu升序排列,得到排序方案Sm,容器i在排序方案中的序列号为Sim

    6.对于排序方案Sc, Sm进行整合:

    7.考虑SLA处理问题的优先级pre

    S为最终排序,每次选择S中第一位作为资源调度的目标

    8.根据容器资源使用率的下限,确定容器资源是否可以回收

    一段时间内cpu的平均使用率c`i  内存平均使用率m`i

    cid  mid为cpu,内存使用率下限   ciu  cmu  cpu内存使用率上限

    Ci已经分配的资源   deltaC 要回收的资源

    物理机节点K可分配的资源

    若任务所需资源小于物理机节点的资源,则执行节点内调度,否则执行节点间调度。

    总结一下,利用容器的cpu,内存的预测情况以及SLA协议来对容器进行排序,根据资源使用率上下限进行节点内以及节点间的调度

    参考论文:

    [1]边俊峰. 基于Docker的资源调度及应用容器集群管理系统设计与实现[D].山东大学,2017.

    2.基于Kubernetes-on-EGO的两级资源调度器

    目前的 Kubernetes 调度器是单进程的同步调度,当系统调度任务大量增加时,调度器会发生阻塞延时,不能满足调度效率高的要求;调度计划是不对外暴露的,不能满足大规模数据中心中用户自己通过配置调配资源的问题。第一个问题应该是存在的,第二个问题现在应该支持了吧,需要研究一下。

    单体调度:

    单体式调度指调度器是单一进程运行在某台主机上,调度器经过内置的算法将任务分派给集群中的某台主机,所有任务都服从一个调度器的安排,这种架构简单,但是这种调度器存在着缺陷,对于长时间运行的服务如 Web 服务和批处理任务如 Map Reduce 任务没有区分调度;应对不同场景,调度器应有不同的调度逻辑;调度器是单进程设计,在集群规模增大调度任务增多时,调度会导致队列阻塞。

    二级调度;

    二级调度是指资源调度和任务调度分离,这样任务调度逻辑就可以更加灵活,根据不同的应用需求配置不同的调度逻辑,集群之间资源还可以保证处于共享状态。Mesos 使用二级调度架构,在 Mesos 中资源会主动提供给上层应用层调度,在二级调度逻辑,待调度的任务跟资源管理器交互,资源管理器主动给任务分配动态资源。用户能够灵活使用调度策略。二级调度也存在问题:应用层调度隐藏了全局资源调度,调度器无法看到全局资源的配置情况,只看到资源管理器提供的资源,因此会导致资源调度不合理,降低资源的使用效率。

    首先用户创建 Pod,向系统提交创建 Pod 的请求,Kubernetes 组件 APIServer接受用户的资源请求,将资源请求的信息逻辑层存储到 
    Etcd 中保存,二级调度系统的上层调度也就是一级调度首先接受并初始处理用户的资源请求,比如将用户的资源格式化为调度系统所能识别的资源格式,这里会将 Memory 的资源请求除以 1000,并进行取整,以此来增大资源的利用率;上次调度接受用户请求并进行处理后,接下来进入下层的二级调度系统,首先登陆到 EGO 的系统中,登陆成功则进行 Client 的信息注册,进而进入最主要的资源分配阶段,首先进行资源分配,调度系统查找资源池中可用的资源,查找到可用的资源则进入到构建调度结果阶段,将可用的资源信息,创建 
    Pod 的信息,用户注册的 Client 信息组织到一起,而后调度系统读取调度结果,最后将调度结果返回给整个云平台系统,本次任务调度资源分配结束,调度系统成功为用户分配到可用的资源。接下来就是Kubernetes 系统得知调度结束,使用系统分配的资源为用户的任务启动服务。

    k8s自身的调度系统是接受待调度任务,然后根据待调度任务资源情况以及物理机节点情况来进行进行节点选择,最终执行任务调度。二级调度系统是将资源分配与任务调度分离,资源调度系统为任务分配资源,根据分配结果再进行任务调度。通过将资源调度和任务调度分离,使得资源调度提高调度效率,下层任务调度可以灵活的接入用户定义的任务调度算法和调度机制,这使得任务调度逻辑不仅可以根据不同应用要求而进行裁剪,而且保留了在集群之间共享资源的可能性。

    参考论文:

    [1]台慧敏. 基于Kubernetes-on-EGO的两级资源调度器的设计与实现[D].西安电子科技大学,2017.
    展开全文
  • 为利用实时的道路信息、救援状态信息和应急资源配置信息,以提高应急响应能力,建立了一个动态的应急资源优化调度数学...通过一实例对模型的算法进行了验证分析,结果证明了动态应急资源调度模型及其求解算法的有效性。
  • 该策略首先建立流网络模型并通过构建算法计算每条边的容量值,其次通过弹性资源调度算法确定集群性能瓶颈并制定动态资源调度计划,最后通过基于数据分簇和分桶管理的状态数据迁移算法,实施调度计划并完成节点间的...
  • 为提高应急响应能力,利用实时的道路信息、救援状态信息和应急资源配置信息,设计了一个实时、动态的应急资源调度系统。在地理信息系统基础上,实现了利用实时信息动态生成应急资源调度方案。最终通过一个实例应用,...
  • 针对产品开发过程中由于活动变化导致原调度需要重新调整的问题, 提出一种利用弹性资源特性进行动态 调度决策的方法. 以活动添加的变化为对象, 根据活动间时序约束、资源约束等特点, 分别构建时序冲突消解模型以...
  • 随着天基信息网络范围和空间的不断拓展,网络感知能力的不断增强,对...主要针对如何实现资源的高效管理,对天基资源网络的管理对象进行细粒度、多维度分析,进一步提出动态天基资源虚拟化、调度方法与协同管理的设计。
  • 在这种情况下,本文提出了一种机器学习驱动的分类方案,用于云计算环境中的动态干扰感知资源调度。主要目标是展示更好地表示工作负载变化的分类方法如何影响资源调度。首先,我们分析硬件资源如何响应具有动态工作...
  • 对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。... 动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时的增减 Executor个数,从而实现动态分配资源,使整个
        对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行  的服务(比如Thrift Server),若分配给它多个Executor,可是却没有任何任务分配给 它,而此时有其他的应用却资源张,这就造成了很大的资源浪费和资源不合理的调 度。 
        动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况, 实时的增减  Executor个数,从而实现动态分配资源,使整个Spark系统更加健康。

    配置步骤:

        1. 需要先配置External shuffle service。参见spark on yarn(External shuffle service)配置
        2. 在“spark-defaults.conf”中必须添加配置项“spark.dynamicAllocation.enabled”,并 将该参数的值设置为“true”,表示开启动态资源调度功能。默认情况下关闭此功 能。
        3. 根据情况配置一些可选参数

    以下是基本配置参考
    spark.shuffle.service.enabled                true   配置External shuffle Service服务(一定要配置启用)
    spark.shuffle.service.port                       7337
    spark.dynamicAllocation.enabled         true   启用动态资源调度
    spark.dynamicAllocation.minExecutors    3    每个应用中最少executor的个数
    spark.dynamicAllocation.maxExecutors    8    每个应用中最多executor的个数


    可选参数说明:

    配置项                                                                                    说明                                                                默认值
    spark.dynamicAllocatio n.minExecutors                              最小Executor个数。                                        0 
    spark.dynamicAllocatio n.initialExecutors                           初始Executor个数。                                         spark.dynamicAllocati on.minExecutors
    spark.dynamicAllocatio n.maxExecutors                              最大executor个数。                                        Integer.MAX_VALU E
    spark.dynamicAllocatio n.schedulerBacklogTim eout          调度第一次超时时间。                                 1(s)
    spark.dynamicAllocatio n.sustainedSchedulerBa cklogTimeout  调度第二次及之后超时时间。      spark.dynamicAllocati on.schedulerBacklogT imeout
    spark.dynamicAllocatio n.executorIdleTimeout                   普通Executor空闲超时时间。                          60(s)
    spark.dynamicAllocatio n.cachedExecutorIdleTi meout       含有cached blocks的Executor空 闲超时时间。 spark.dynamicAllocati on.executorIdleTimeo ut的2倍

    说明
    1. 使用动态资源调度功能,必须配置External Shuffle Service。如果没有使用External Shuffle  Service,Executor被杀时会丢失shuffle文件。 
    2. 配置了动态资源调度功能,就不能再单独配置Executor的个数,否则会报错退出。
    3. 使用动态资源调度功能,能保证最少的executor的个数(spark.dynamicAllocation.minExecutors


    展开全文
  • 动态需求下的多周期动态应急资源调度问题研究,刘静,周亚稳,紧急救援中存在多种不确定因素使这一过程具有动态变化的特点。受灾地区的物资需求在调度过程中可能是动态变化的,同时在应急资源
  • 利用这些技术,资源调度要解决如何将计算资源合理分配给服务,一方面保证在负载动态变化的情况下服务质量不受影响,另一方面减少数据中心的能源消耗。本文对虚拟资源调度技术进行了分类,讨论了云计算资源调度的最新研究...
  • 基于多智能体协同技术和市场博弈机制,对计算网格资源分配技术进行了深入研究,提出了能够反映供求关系的基于计算经济机制的网格资源调度模型,建立了消费者的效用函数,给出了资源调度动态博弈算法。仿真实验说明...
  • 基于云计算的海量碎片资源动态调度仿真.pdf
  • 鉴于仿真网格系统运行的复杂性和不确定性,引入了随机规划理论,提出了仿真网格的动态关键路径概念以及基于动态关键路径的资源调度算法,共同解决当资源有限以及任务相关情况下仿真网格的资源调度问题。具体实现,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 180,247
精华内容 72,098
关键字:

动态资源调度