精华内容
下载资源
问答
  • 2017-07-21 21:13:25

    前两天旁边的小伙伴给了我一个需求,让我来解决它。为了锻炼自己也就接受了。

    需求

    项目中有一些内容的配置在前端和后端都是写死的,而且这些内容是需要经常修改的,所以就导致了每次内容的修改都要重新、修改部署项目。为了方便,决定从公司内部的wiki资源中爬取这些内容。我觉得挺简单的,也就接受了。

    解决办法

    1. 在后端写一个定时任务,定时爬取wiki上的内容。由于这些内容较少,没有放在缓存中,暂时就放在内存中。
    2. 在后端为前端提供一个接口,当前端需要这些数据时就调用这个接口。

    结果

    经过本地测试,完美的解决了。修改wiki知识库后,定时任务执行,也就修改了那些内容。然后就部署到日常环境中,也是完美的成功。可是接下来部署到预发环境时,却出了错,504超时。这个问题想了很久,最后想到由于wiki知识库和日常环境都是在我们公司的内网中的,所以可以访问wiki上的内容。一旦发表到预发环境(阿里云),也就是外网,就无法访问我们公司的wiki知识库了。只有继续想解决办法了。

    解决办法

    想到的解决办法

    1. 把内网的地址映射到外网
    2. 内网向外网传输数据
      对于解决办法一,不用想了,公司的wiki也不是我们来维护的。
      只有使用第二种了。
      通过分析:
      我们总是想着外网访问内网资源,可是内网不经过地址映射外网是无法访问的。于是只有换种思路,从公司内网出发,发送数据到外网。刚刚说了,日常环境在内网,预发环境在外网。由于日常服务器和预发服务器都是一直在运行着的,部署的也是同一个项目。那么我们就能在这个项目中提供一个http接口,在日常环境中通过这个http接口向预发或正式环境的http接口发送数据。完美解决了~
    更多相关内容
  • 公司需要配置一台备份服务器,用于日常各数据库、服务器、公司员工进行数据备份。各备份账号需要有一定的权限配置和限额配置的功能,网上查了一下资料,决定使用samba服务实现。下面就简单粗暴的记录一下,以便日后...

    公司需要配置一台备份服务器,用于日常各数据库、服务器、公司员工进行数据备份。各备份账号需要有一定的权限配置和限额配置的功能,网上查了一下资料,决定使用samba服务实现。下面就简单粗暴的记录一下,以便日后使用,详细的说明就不再列出了,有需要再自己百度吧。采购两块4T的硬盘,插上服务器,配置raid1,添加虚拟机,开工!

    1、安装centos 7.4,最小化安装,具体步骤略。

    2、添加共享专用卷,这里使用LVM卷,以方便日后的扩容调整

    2.1、分区

    2T以下可以用fdisk分区,注意创建后要调整为LVM分区,具体步骤略。

    2T以上要用parted命令进行分区:
    parted  /dev/sdb
    mklabel gpt 
    mkpart primary 0% 100% 
    toggle 1 LVM
    q

    使分区生效:
    partprobe

    2.2、创建LVM卷

    创建LVM卷:
    pvcreate /dev/sdb1
    vgcreate share /dev/sdb1
    lvcreate -l 100%VG -n lvmShare share

    格式化为xfs 然后挂载:
    mkfs.xfs /dev/share/lvmShare
    mount /dev/share/lvmShare /data

    默认开机挂载,如需要磁盘配额,要加上usrquota,grpquota
    vi /etc/fstab
    /dev/share/lvmShare /data xfs defaults,usrquota,grpquota 1 1

    2.3、如需调整LVM分区大小
    先分区,创建后调整为LVM分区,再用下面的三个命令进行无损扩容:
    vgextend lvextend  xfs_growfs

    如果只是单纯的调整了磁盘分区大小,比如删除了一些分区或在虚拟机的环境中扩容了磁盘,那就用这几个命令,调整分区大小-调整PV大小-调整LV大小,这样也是无损扩容的:
    parted pvresize lvresize xfs_growfs

    3、安装和配置相关服务

    3.1、安装samba

    yum install samba -y

    修改配置文件
    /etc/samba/smb.conf

    security = user
    ntlm auth = yes
    create mask = 666
    directory mask = 777

    如需在windows下使用机器名称访问就添加以下两行
    netbios name = server-share
    workgroup = workgroup

    调整密码保存方式,以方便后面的用户修改密码
    passdb backend = smbpasswd
    smb passwd file = /etc/samba/smbpasswd

    保存后开启所需的防火墙端口
    firewall-cmd --permanent --add-port=139/tcp
    firewall-cmd --permanent --add-port=445/tcp

    要用机器名访问就要把这两个也开了
    firewall-cmd --permanent --add-port=137/udp
    firewall-cmd --permanent --add-port=138/udp

    服务开机启动
    systemctl enable smb

    要用机器名访问就要把nmb也开了
    systemctl enable nmb

    3.2、安装webmin,以使用gui界面进行服务器配置

    安装依赖包
    yum install wget -y
    yum install perl -y
    yum install perl-Digest-MD5 -y

    下载并安装
    wget https://prdownloads.sourceforge.net/webadmin/webmin-1.890.tar.gz
    tar -zvxf webmin-1.890.tar.gz
    cd webmin-1.890
    ./setup.sh
    firewall-cmd --permanent --add-port=10000/tcp

    配置开机启动webmin
    chmod +x /etc/rc.d/rc.local
    vi /etc/rc.d/rc.local
    /etc/webmin/start

    关闭selinux
     vi /etc/selinux/config
    SELINUX=disabled

    重启一下
    reboot

    3.3、使用webmin进行相关配置

    1、服务器-samba中,把用户同步和组同步功能开启 ,这样创建用户时就不用两边创建了。

    2、在系统 users and groups 创建用户和组,用户创建时shell选择nologin。

    3、服务器 samba 创建目录时,权限要用777。

    4、在共享目录的口令和访问控制下配置用户权限
    组目录 组成员只读,指定人员可读写。重新验证 是,有效组 ,读写用户。
    用户目录 指定用户可读写。可写入 是,重新验证 是,有效用户。

    5、共享目录配置完后,需要改中文共享名,可以通过修改配置文件实现。

    6、想隐藏掉没权限的目录,配置文件添加,让用户和组使用独立的配置文件,

    在[global]下添加 

    include = /etc/samba/%U.smb.conf
    include = /etc/samba/%G.smb.conf

    在根据用户的权限,在独立配置文件中的共享目录中,需要隐藏的目录添加配置
    browseable = no
    使用独立配置文件后,在winmin配置只会修改主配置文件,所以应该都配置好后,再来调整这个独立配置
    用户和组的独立配置是会同时生效的,如果每个用户都要独立配置的话,就没必要组独立配置了。

    7、Windows添加凭证,控制面板-用户账户-凭据管理,可以管理已经保存的凭据。

    测试时,samba主页,查看所有的连接,断开
    windows net use * /del /y

    3.4、配置自助修改密码工具changepassword

    1、安装依赖包

    yum install gcc -y
    yum install httpd -y

    2、下载解压:

    wget http://prdownloads.sourceforge.net/changepassword/changepassword-0.9.tar.gz
    tar -zxvf changepassword-0.9.tar.gz
    cd changepassword-0.9

    2.编译changepassword前需要安装一个依赖包

    cd smbencrypt/
    tar -xzvf libdes-4.04b.tar.gz
    cd des/
    make
    cp libdes.a ../
    cd ../..

    3、调整配置

    修改conf.h头文件,设置软件修改密码使用的临时目录(默认是/tmp,但是怎么用都用不了,网上找资料说要修改一下)
    将前三行的定义修改为自己创建的目录(这里将/tmp修改到了/var/smbchangepwd目录下)

    char TMPFILE[]=”/var/smbchangepwd/changepassword-shadow-XXXXXX”;
    char TMPSMBFILE[]=”/var/smbchangepwd/changepassword-smb-XXXXXX”;
    char TMPSQUIDFILE[]=”/var/smbchangepwd/changepassword-squid-XXXXXX”;

    创建目录(/var/smbchangepwd)并修改为777权限。

    4、编译安装changepassword

    这里注意logo文件要放在/var/www/html下,

    ./configure -enable-cgidir=/var/www/cgi-bin/samba -enable-language=Chinese -enable-smbpasswd=/etc/samba/smbpasswd -disable-squidpasswd -enable-logo=logo.jpg
    make && make install

    5、配置httpd

    修改/etc/httpd/conf/httpd.conf

    去掉注释
    AddHandler cgi-script .cgi 

    字符集调整为gbk
    AddDefaultCharset GBK

    systemctl enable httpd
    systemctl restart httpd

    firewall-cmd --permanent --add-port=80/tcp
    systemctl restart firewalld

    6、添加跳转文件
    新建文件/var/www/html/index.html
    内容:
    <head>
    <meta http-equiv="refresh" content="0;url=/cgi-bin/samba/changepassword.cgi">
    </head>

    7、到这里配置就完成了,直接在浏览器中访问ip地址就能打开修改密码的页面了。

    3.5、磁盘配额配置

    安装包 yum install quota -y

    在webmin-未使用的模块-Disk Quota下,就可以配置用户或组的Soft kilobyte limit和Hard kilobyte limit。这两个可以配置一样大,或者硬限额稍微比软限额配大一点。

    建议在创建用户和组之前先在这里配置好新用户的默认配额,这样就不用再一个个用户来改了。

    配置完成,以后只需要各台服务器做个映射驱动器,直接备份到共享服务器上,再定期用对共享服务器的共享硬盘做备份就OK了,收工!

    展开全文
  • Yarn资源队列配置和使用

    万次阅读 2019-06-14 17:08:37
    Yarn资源队列配置和使用 前言 试想一下,你现在所在的公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表,B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景,这个时候...

    Yarn资源队列配置和使用

     

    前言

    试想一下,你现在所在的公司有一个hadoop的集群。但是A项目组经常做一些定时的BI报表,B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景,这个时候到底如何分配资源满足这两个任务呢?是先执行A的任务,再执行B的任务,还是同时跑两个?

    如果你存在上述的困惑,可以多了解一些yarn的资源调度器。

    在Yarn框架中,调度器是一块很重要的内容。有了合适的调度规则,就可以保证多个应用可以在同一时间有条不紊的工作。最原始的调度规则就是FIFO,即按照用户提交任务的时间来决定哪个任务先执行,但是这样很可能一个大任务独占资源,其他的资源需要不断的等待。也可能一堆小任务占用资源,大任务一直无法得到适当的资源,造成饥饿。所以FIFO虽然很简单,但是并不能满足我们的需求。

    Web查看

    http://localhost:8088/cluster/nodes
    在这里插入图片描述

    二. 调度器的选择

    在Yarn中有三种调度器可以选择:FIFO Scheduler ,Capacity Scheduler,FairS cheduler。

    FIFO Scheduler

    FIFO Scheduler把应用按提交的顺序排成一个队列,这是一个先进先出队列,在进行资源分配的时候,先给队列中最头上的应用进行分配资源,待最头上的应用需求满足后再给下一个分配,以此类推。

    FIFO Scheduler是最简单也是最容易理解的调度器,也不需要任何配置,但它并不适用于共享集群。大的应用可能会占用所有集群资源,这就导致其它应用被阻塞。在共享集群中,更适合采用Capacity Scheduler或Fair Scheduler,这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。

    下面“Yarn调度器对比图”展示了这几个调度器的区别,从图中可以看出,在FIFO 调度器中,小任务会被大任务阻塞。

    Capacity Scheduler

    而对于Capacity调度器,有一个专门的队列用来运行小任务,但是为小任务专门设置一个队列会预先占用一定的集群资源,这就导致大任务的执行时间会落后于使用FIFO调度器时的时间。

    FairS cheduler

    在Fair调度器中,我们不需要预先占用一定的系统资源,Fair调度器会为所有运行的job动态的调整系统资源。如下图所示,当第一个大job提交时,只有这一个job在运行,此时它获得了所有集群资源;当第二个小任务提交后,Fair调度器会分配一半资源给这个小任务,让这两个任务公平的共享集群资源。

    需要注意的是,在下图Fair调度器中,从第二个任务提交到获得资源会有一定的延迟,因为它需要等待第一个任务释放占用的Container。小任务执行完成之后也会释放自己占用的资源,大任务又获得了全部的系统资源。最终的效果就是Fair调度器即得到了高的资源利用率又能保证小任务及时完成。
    在这里插入图片描述

    三. capacity调度器

    3.1 什么是capacity调度器

    Capacity 调度器允许多个组织共享整个集群,每个组织可以获得集群的一部分计算能力。通过为每个组织分配专门的队列,然后再为每个队列分配一定的集群资源,这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。除此之外,队列内部又可以垂直划分,这样一个组织内部的多个成员就可以共享这个队列资源了,在一个队列内部,资源的调度是采用的是先进先出(FIFO)策略。

    通过上面那幅图,我们已经知道一个job可能使用不了整个队列的资源。然而如果这个队列中运行多个job,如果这个队列的资源够用,那么就分配给这些job,如果这个队列的资源不够用了呢?其实Capacity调度器仍可能分配额外的资源给这个队列,这就是“弹性队列”(queue elasticity)的概念。

    在正常的操作中,Capacity调度器不会强制释放Container,当一个队列资源不够用时,这个队列只能获得其它队列释放后的Container资源。当然,我们可以为队列设置一个最大资源使用量,以免这个队列过多的占用空闲资源,导致其它队列无法使用这些空闲资源,这就是”弹性队列”需要权衡的地方。

    Capacity调度器说的通俗点,可以理解成一个个的资源队列。这个资源队列是用户自己去分配的。比如我大体上把整个集群分成了AB两个队列,A队列给A项目组的人来使用。B队列给B项目组来使用。但是A项目组下面又有两个方向,那么还可以继续分,比如专门做BI的和做实时分析的。那么队列的分配就可以参考下面的树形结构

    root
    ------a[60%]
          |---a.bi[40%]
          |---a.realtime[60%]
    ------b[40%]
    

    a队列占用整个资源的60%,b队列占用整个资源的40%。a队列里面又分了两个子队列,一样也是2:3分配。

    虽然有了这样的资源分配,但是并不是说a提交了任务,它就只能使用60%的资源,那40%就空闲着。只要资源实在空闲状态,那么a就可以使用100%的资源。但是一旦b提交了任务,a就需要在释放资源后,把资源还给b队列,直到ab平衡在3:2的比例。

    粗粒度上资源是按照上面的方式进行,在每个队列的内部,还是按照FIFO的原则来分配资源的。

    3.2 特性

    capacity调度器具有以下的几个特性

    1. 层次化的队列设计,这种层次化的队列设计保证了子队列可以使用父队列设置的全部资源。这样通过层次化的管理,更容易合理分配和限制资源的使用。
    2. 容量保证,队列上都会设置一个资源的占比,这样可以保证每个队列都不会占用整个集群的资源。
    3. 安全,每个队列又严格的访问控制。用户只能向自己的队列里面提交任务,而且不能修改或者访问其他队列的任务。
    4. 弹性分配,空闲的资源可以被分配给任何队列。当多个队列出现争用的时候,则会按照比例进行平衡。
    5. 多租户租用,通过队列的容量限制,多个用户就可以共享同一个集群,同事保证每个队列分配到自己的容量,提高利用率。
    6. 操作性,yarn支持动态修改调整容量、权限等的分配,可以在运行时直接修改。还提供给管理员界面,来显示当前的队列状况。管理员可以在运行时,添加一个队列;但是不能删除一个队列。管理员还可以在运行时暂停某个队列,这样可以保证当前的队列在执行过程中,集群不会接收其他的任务。如果一个队列被设置成了stopped,那么就不能向他或者子队列上提交任务了。
    7. 基于资源的调度,协调不同资源需求的应用程序,比如内存、CPU、磁盘等等。

    3.3 调度器的配置

    3.3.1 配置调度器

    在ResourceManager中配置它要使用的调度器,hadoop资源分配的默认配置

    在搭建完成后我们发现对于资源分配方面,yarn的默认配置是这样的,也就是有一个默认的队列
    事实上,是否使用CapacityScheduler组件是可以配置的,但是默认配置就是这个CapacityScheduler,如果想显式配置需要修改 conf/yarn-site.xml 内容如下:

    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>
    

    可以看到默认是org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler这个调度器,那么这个调度器的名字是什么呢?

    我们可以在/Users/lcc/soft/hadoop/hadoop-2.7.4/etc/hadoop/capacity-scheduler.xml文件中看到

    <property>
        <name>yarn.scheduler.capacity.root.queues</name>
        <value>default</value>
        <description>
          The queues at the this level (root is the root queue).
        </description>
      </property>
    
    •  

    可以看到默认的队列名字为default(知道名字有什么用?我们可以根据nameNode地址,和调度器名称,获取机器相关的信息,比如内存,磁盘,cpu等资源用了多少,还剩下多少)

    配置说明

    这里的配置项格式应该是yarn.scheduler.capacity..queues,也就是这里的root是一个queue-path,因为这里配置了value是default,所以root这个queue-path只有一个队列叫做default,那么有关default的具体配置都是形如下的配置项:

    yarn.scheduler.capacity.root.default.capacity:一个百分比的值,表示占用整个集群的百分之多少比例的资源,这个queue-path下所有的capacity之和是100
    
    yarn.scheduler.capacity.root.default.user-limit-factor:每个用户的低保百分比,比如设置为1,则表示无论有多少用户在跑任务,每个用户占用资源最低不会少于1%的资源
    
    yarn.scheduler.capacity.root.default.maximum-capacity:弹性设置,最大时占用多少比例资源
    
    yarn.scheduler.capacity.root.default.state:队列状态,可以是RUNNING或STOPPED
    
    yarn.scheduler.capacity.root.default.acl_submit_applications:哪些用户或用户组可以提交人物
    
    yarn.scheduler.capacity.root.default.acl_administer_queue:哪些用户或用户组可以管理队列
    

    3.3.2 配置队列

    调度器的核心就是队列的分配和使用了,修改conf/capacity-scheduler.xml可以配置队列。

    Capacity调度器默认有一个预定义的队列——root,所有的队列都是它的子队列。队列的分配支持层次化的配置,使用.来进行分割,比如yarn.scheduler.capacity.<queue-path>.queues.

    下面是配置的样例,比如root下面有三个子队列:

    <property>
      <name>yarn.scheduler.capacity.root.queues</name>
      <value>a,b,c</value>
      <description>The queues at the this level (root is the root queue).
      </description>
    </property>
    
    <property>
      <name>yarn.scheduler.capacity.root.a.queues</name>
      <value>a1,a2</value>
      <description>The queues at the this level (root is the root queue).
      </description>
    </property>
    
    <property>
      <name>yarn.scheduler.capacity.root.b.queues</name>
      <value>b1,b2,b3</value>
      <description>The queues at the this level (root is the root queue).
      </description>
    </property>
    

    上面的结构类似于:

    root
    ------a[队列名字]
          |---a1[子队列名字]
          |---a2[子队列名字]
    ------b[队列名字]
    	  |---b1[子队列名字]
          |---b2[子队列名字]
          |---b3[子队列名字]
    ------c[队列名字]
    

    3.3.3 队列属性

    • yarn.scheduler.capacity..capacity
      它是队列的资源容量占比(百分比)。系统繁忙时,每个队列都应该得到设置的量的资源;当系统空闲时,该队列的资源则可以被其他的队列使用。同一层的所有队列加起来必须是100%。

    • yarn.scheduler.capacity..maximum-capacity
      队列资源的使用上限。由于系统空闲时,队列可以使用其他的空闲资源,因此最多使用的资源量则是该参数控制。默认是-1,即禁用。

    • yarn.scheduler.capacity..minimum-user-limit-percent
      每个任务占用的最少资源。比如,你设置成了25%。那么如果有两个用户提交任务,那么每个任务资源不超过50%。如果3个用户提交任务,那么每个任务资源不超过33%。如果4个用户提交任务,那么每个任务资源不超过25%。如果5个用户提交任务,那么第五个用户需要等待才能提交。默认是100,即不去做限制。

    • yarn.scheduler.capacity..user-limit-factor
      每个用户最多使用的队列资源占比,如果设置为50.那么每个用户使用的资源最多就是50%。

    3.3.4 运行和提交应用限制

    • yarn.scheduler.capacity.maximum-applications / yarn.scheduler.capacity..maximum-applications
      设置系统中可以同时运行和等待的应用数量。默认是10000.
    • yarn.scheduler.capacity.maximum-am-resource-percent / yarn.scheduler.capacity..maximum-am-resource-percent
      设置有多少资源可以用来运行app master,即控制当前激活状态的应用。默认是10%。

    3.3.5 队列管理

    • yarn.scheduler.capacity..state
      队列的状态,可以使RUNNING或者STOPPED.如果队列是STOPPED状态,那么新应用不会提交到该队列或者子队列。同样,如果root被设置成STOPPED,那么整个集群都不能提交任务了。现有的应用可以等待完成,因此队列可以优雅的退出关闭。
    • yarn.scheduler.capacity.root..acl_submit_applications
      访问控制列表ACL控制谁可以向该队列提交任务。如果一个用户可以向该队列提交,那么也可以提交任务到它的子队列。
    • yarn.scheduler.capacity.root..acl_administer_queue
      设置队列的管理员的ACL控制,管理员可以控制队列的所有应用程序。同样,它也具有继承性。

    注意: ACL的设置是user1,user2 group1,group2这种格式。如果是则代表任何人。空格表示任何人都不允许。默认是.

    3.3.6 其他属性

    • yarn.scheduler.capacity.resource-calculator
      资源计算方法,默认是org.apache.hadoop.yarn.util.resource.DefaultResourseCalculator,它只会计算内存。DominantResourceCalculator则会计算内存和CPU。
    • yarn.scheduler.capacity.node-locality-delay
      调度器尝试进行调度的次数。一般都是跟集群的节点数量有关。默认40(一个机架上的节点数)

    3.3.7 web接口

    一旦设置完这些队列属性,就可以在web ui上看到了。可以访问下面的连接:
    http://localhost:8088/ws/v1/cluster/scheduler

    <?xml version="1.0" encoding="utf-8"?>
    
    <scheduler> 
      <schedulerInfo xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:type="capacityScheduler">  
        <capacity>100.0</capacity>  
        <usedCapacity>0.0</usedCapacity>  
        <maxCapacity>100.0</maxCapacity>  
        <queueName>root</queueName>  
        <queues> 
          <queue xsi:type="capacitySchedulerLeafQueueInfo"> 
            <capacity>100.0</capacity>  
            <usedCapacity>0.0</usedCapacity>  
            <maxCapacity>100.0</maxCapacity>  
            <absoluteCapacity>100.0</absoluteCapacity>  
            <absoluteMaxCapacity>100.0</absoluteMaxCapacity>  
            <absoluteUsedCapacity>0.0</absoluteUsedCapacity>  
            <numApplications>0</numApplications>  
            <queueName>default</queueName>  
            <state>RUNNING</state>  
            <resourcesUsed> 
              <memory>0</memory>  
              <vCores>0</vCores> 
            </resourcesUsed>  
            <hideReservationQueues>false</hideReservationQueues>  
            <nodeLabels>*</nodeLabels>  
            <numActiveApplications>0</numActiveApplications>  
            <numPendingApplications>0</numPendingApplications>  
            <numContainers>0</numContainers>  
            <maxApplications>10000</maxApplications>  
            <maxApplicationsPerUser>10000</maxApplicationsPerUser>  
            <userLimit>100</userLimit>  
            <users/>  
            <userLimitFactor>1.0</userLimitFactor>  
            <AMResourceLimit> 
              <memory>1024</memory>  
              <vCores>1</vCores> 
            </AMResourceLimit>  
            <usedAMResource> 
              <memory>0</memory>  
              <vCores>0</vCores> 
            </usedAMResource>  
            <userAMResourceLimit> 
              <memory>1024</memory>  
              <vCores>1</vCores> 
            </userAMResourceLimit>  
            <preemptionDisabled>true</preemptionDisabled> 
          </queue> 
        </queues> 
      </schedulerInfo> 
    </scheduler>
    

    这里<queueName>default</queueName> 队列名称很重要,我们可以根据它获取相关信息,自己写调度器

    3.3.7 修改队列配置

    如果想要修改队列或者调度器的配置,可以修改

    vi $HADOOP_CONF_DIR/capacity-scheduler.xml
    
    • 1

    修改完成后,需要执行下面的命令:

    $HADOOP_YARN_HOME/bin/yarn rmadmin -refreshQueues
    
    • 1

    3.3.8 注意

    • 队列不能被删除,只能新增。
    • 更新队列的配置需要是有效的值
    • 同层级的队列容量限制想加需要等于100%。
    展开全文
  • nginx 静态资源优化配置

    万次阅读 多人点赞 2022-05-28 09:28:40
    nginx 静态资源优化配置

    前言

    在很多公司,nginx不仅作为反向代理服务器使用,而且承载着一部分静态资源存储的功能,比如将图片等静态资源放在nginx目录下,比较熟悉的是,在一些前后端分离的网站中,某些情况下,为了能充分提升用户访问页面时的加载体验,常常需要将一部分的html等静态资源缓存在nginx中,这就涉及到nginx 静态资源优化相关的配置

    静态资源优化常用配置策略

    下面提供几个常用的静态资源优化的配置指令,以供实战参考

    • sendfile on;
    • tcp_nopush on;
    • tcp_nodeplay on;
    • gzip on;
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    

    一、sendfile 指令

    用来开启高效的文件传输模式

    在这里插入图片描述

    一个正常的请求静态资源的过程大概是这样的:

    1. 客户端通过网络接口向服务端发送请求;
    2. 操作系统将客户端请求传递给服务器端应用程序;
    3. 服务器端应用程序处理这些请求,请求处理完成后,操作
    展开全文
  • 服务器数量达到一定规模后,老板们开始担心了:“每季度这么大金额的服务器采购支出,我们的服务器资源使用率如何?” - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 指标...
  • Win10系统打开共享文件提示没有权限使用网络资源怎么处理? 2017年05月06日 09:49:04 阅读数:15100 n10系统在访问网络中的共享文件时提示“xxx计算机无法访问,您可能没有权限使用网络资源。请与这台服务器的...
  • 资源优化 资源优化用于调整活动的开始和完成日期,以调整计划使用资源,使其等于或少于可用的资源资源优化技术是根据资源供给需求的情况,来调整进度模型的技术。(一)、资源平衡 为了在资源需求与资源供给...
  • \\192.168.0.123)进行访问,报错:\\192.168.0.123无法访问,你可能没有权限使用网络资源,请与这台服务器的管理员联系。这问题碰到好几回了,每次都是同事帮忙解决的,这次又碰到了同事不在,只能自己来。 (以下的...
  • 使用https访问网站静态资源无法加载

    千次阅读 2019-10-13 11:23:57
    最近发现公司m站使用https访问的时候,样式无法加载,F12查看发现js,css等样式还是以http开头的,并且提示 This request has been blocked; the content must be served over HTTPS,因为HTTPS 承载的页面上不允许...
  • 人力资源管理软件(完全免费)

    千次下载 热门讨论 2011-03-08 11:36:20
    本人力资源软件软件界面美观,使用方便 人力资源管理软件特色介绍 本人力资源软件包含支持单机、网络,可以通过互联网安全接入企业内网,无需域名或固定IP 用户资料可定制扩展,界面可定义,适应性强 大量的统计...
  • Nginx系列之反向代理之后无法加载静态资源处理方法,最近在跟https域名升级问题,遇到一个麻烦的任务,因为域名由另外的公司负责,对方公司开了一个nginx服务器做了类似的转发
  • 公司是怎么发布静态资源

    千次阅读 2016-10-13 13:38:40
    原文地址:https://segmentfault.com/a/1190000007122250?utm_source=weekly&utm_medium=email&utm_campaign=email_weekly 静态资源(Static ...在一般的网站中,静态资源使用频率高,流量占用大。对于有追求
  • 惠悦咨询是世界著名的从事人力资源管理和精算的顾问公司,在全球37个国家中拥有87间办事机构和超过5,000名专家。公司1985年与中国大陆建立 了业务关系。该公司从1985年起就进入中国开展业务和服务,并在1998年正式...
  • 腾讯人力资源管理体系

    千次阅读 2020-11-27 18:01:53
    腾讯公司的管理理念是关心员工成长、强化执行能力、追求高效和谐、平衡激励约束 关心员工成长 重视员工的兴趣和专长,以良好的工作条件、完善的员工培训计划、职业生涯通道 设计促进员工个人职业发展。 重视企业文化...
  • 在大公司做凤尾,还是在小公司做鸡头?

    万次阅读 多人点赞 2019-08-18 21:40:01
    相对而言,小公司更倾向于选用快速扁平化的技术架构,相对来说技术的沉淀就不会像大公司这么多,所以你会发现大公司里和小公司里,大家的技术思考可能也不太一样。 大公司里通常牛人很多,相对来说小公司里...
  • 当企业发展到一定规模后,为了继续壮大其业务范围,经常需要在不同地区开设分支机构如分公司或者办事处等等,随之而来的是实现与分支机构的互联,使得总部的应用系统OA、ERP、CRM等实现资源共享,实现企业互联的统一...
  • 国内从事机器视觉领域的公司 ... (1) 北京北方猎波科技有限公司:http://www.northwh.com/beifangliebo/main1.html红外...(2) 深圳超多维光电子有限公司北京分公司:http://www.superd.com.cn立体显示设备 (3)...
  • 怎么制定有限责任公司章程

    万次阅读 2022-01-28 10:11:50
    (1)公司名称和住所。 公司名称经过工商登记机关预先核准后,应当按照预先核准的名称在章程中载明。章程中载明的住所为公司的主要办事机构所在地。所谓“主要办事机构所在地”,是指执行公司的业务活动、决定和处理...
  • 关于资源部门的一些总结

    万次阅读 2020-05-23 00:20:20
    不难看出,大部分公司都是小公司,会选择方案一,考验的是管理者的资源利用率,既要支撑业务部门,又要控制好资源。 业务线、支撑线、资源线。其中资源部门为了方便管理,通常会划分小组支撑各个BU,当然资源...
  • 公司名称备份,我自己做个记录

    千次阅读 2020-09-21 17:08:14
    浙江海博人力资源开发服务有限公司(1726人) 中国电信集团系统集成有限责任公司(207人) 万国数据服务有限公司(3人) 浙江泽厚律师事务所(20人) 印孚瑟斯技术(中国)有限公司(2人) 北京金道天成信息系统服务有限...
  • 政府网站,通过建立政府门户,有利于各种信息和资源的整合,为政府和社会公众之间加强联系和沟通,从而使政府可以更快、更便捷、更有效开展工作; 学校网站,通过网络信息的引入,使得教育机构之间及教育机构内部和...
  • 动态规划--资源分配问题

    千次阅读 2020-12-07 11:24:23
    资源分配问题是将数量一定的一种或若干种资源(原木料、资金、设备或劳动力等)合理地分配给若干个使用者,使总收益最大。 例如,某公司有3个商店A、B、C,拟将新招聘的5名员工分配给这3个商店,各商店得到新员工后每年...
  • 人力资源管理软件(免费破解版)

    千次下载 热门讨论 2010-03-15 11:50:13
    人力资源管理软件使用说明 运行oclient.exe,初始化密码为空的 默认为演示库供学习练习,正式使用使用右边的选择数据库切换到正式库 采用模板文件进行一次性导入或者按下面分别建立相关信息 建立部门信息,...
  • Yarn资源请求处理和资源分配原理解析

    万次阅读 多人点赞 2017-12-14 09:57:31
    FairScheduler的资源调度原理和代码 FairScheduler的调度概览 两种调度时机-心跳调度和持续调度 开始进行资源调度 判断这个application是否适合在这个节点上分配资源运行 YARN请求资源时的locality和relaxility限定 ...
  • 如何在网上下载自己需要的资源

    千次阅读 2018-02-12 00:00:00
    本文来自作者 曹某某 在 GitChat 上分享 「如何在网上下载自己需要的资源」,「阅读原文」查看交流实录。「文末高能」编辑 | 哈比通过网络获取需要的软件、文档等资源是每个人必须掌握的技能。这篇文...
  • https页面加载http资源的解决方法

    万次阅读 2021-01-15 20:24:43
    公司做了一个官网项目,在浏览器中调试查看页面,页面样式、布局都是按照代码写的那样。没有任何异常。由于公司的服务器还没通过备案,于是我打算先部署在我自己的阿里云服务器中去测试看看。不测还好,一测发现...
  • 机缘巧合, 有幸在科大校园听了京东集团副总裁、京东商城总架构师刘海峰校友作的关于大规模分布式系统在京东的状况和解决方案。他从数据中心操作系统、中间件系统、数据库,存储与计算系统、图片系统与智能应用、...
  • FPGA资源类型简介

    千次阅读 2018-06-21 10:25:34
    结合Xilinx、Altera 等公司的FPGA 芯片,简要罗列一下FPGA 内部的资源或专用模块,并简要说明这些资源的一些作用或用途。(至少列出5 项,越多越好)1. 可编程输入输出单元(IOB) 可编程输入/输出单元简称I/O ...
  • (1) 北京北方猎波科技有限公司:http://www.northwh.com/beifangliebo/main1.html 红外探测成像产品 (2) 深圳超多维光电子有限公司北京分公司:http://www.superd.com.cn 立体显示设备 (3) 深圳尤利尔科技...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 907,676
精华内容 363,070
关键字:

关于公司有限资源的使用