精华内容
下载资源
问答
  • 基于模糊聚类的云计算集群资源调度算法.pdf
  • 基于弹性云计算集群的国际TEAM Problem 7基准问题计算方法.pdf
  • 基于改进的时间序列算法的云计算集群故障预测的研究.pdf
  • Linux云计算集群架构师课程大纲-V9.5
  • 云计算集群架构

    2014-03-03 13:35:02
    这里详细讲解了云计算的主要集群架构方式,详细介绍了几种常见的架构!
  • 基于树莓派搭建小型云计算集群

    千次阅读 多人点赞 2020-06-13 17:26:50
    接下来就来说明如何利用树莓派硬件和相关软件搭建一个用于边缘计算的小型云计算集群。 1 硬件准备 硬件优先考虑树莓派。选择ARM而不是x86架构硬件,主要是考虑到该云计算平台主要用于私人,家庭以及边缘计算等应用...

    拥有一个私人的云计算平台是一件很酷的事情。随着技术的发展,实现这一愿望已经变得相当容易。接下来就来说明如何利用树莓派硬件和相关软件搭建一个用于边缘计算的小型云计算集群。

    1 硬件准备

    硬件优先考虑树莓派。选择ARM而不是x86架构硬件,主要是考虑到该云计算平台主要用于私人,家庭以及边缘计算等应用场景。一方面,ARM硬件相对便宜,功耗低,性价比更高;另一方面树莓派拥有成熟的社区生态,可用的软件也比较丰富。

    选择1. 树莓派3B及其之前的版本

    树莓派3B及其之前的版本由于不支持以太网口供电(PoE), 因此需要额外的USB供电插头。所有树莓派板子都连接到一个交换机/路由器,如下图所示

    图1: 基于树莓派3B搭建的集群

    选择2. 树莓派3B+,树莓派4B

    树莓派3B+/4B拥有以太网口供电(PoE)功能, 因此可省去USB供电插头。所有树莓派板子都连接到一个支持PoE功能的交换机/路由器,如下图所示

    图2: 基于树莓派3B+/4B搭建的集群

    选择3. Turing Pi主板 + 树莓派计算模块

    关于树莓派计算模块

    上面介绍的树莓派3B, 3B+, 4B等板子其实可以拆解成如下两部分,即: 计算模块和计算模块IO扩展板.

    图3: 树莓派计算模块

    图4: 树莓派计算模块IO扩展板

    将计算模块和计算模块IO扩展板结合起来功能就和上述的树莓派3B, 3B+, 4B 一致。

    图5: 树莓派计算模块 + IO扩展板

    关于Turing Pi主板

    利用Turing Pi主板加可扩展树莓派计算模块的方式搭建集群十分的方便。该板最大支持7块树莓派计算模块,并可进行动态扩展,类似于数据中心的刀片服务器 (blade server)

    图6: 树莓派计算模块 + Turing Pi 主板

    Turing Pi同时支持带eMMC的计算模块和不带eMMC的计算模块,其第一个槽可用于烧写操作系统镜像到计算模块eMMC。对于不带eMMC的计算模块可以通过传统的插SD卡的方式启动。

    2 烧写树莓派系统

    2.1 系统选择

    推荐如下两个系统

    2.2 烧写系统

    选择1. 烧写系统到SD卡

    具体步骤参考如下页面

    https://www.raspberrypi.org/d...

    选择2. 烧写系统到树莓派计算模块的eMMC

    具体步骤参考如下页面 (需要借助树莓派计算模块IO扩展板或者Turing Pi主板)

    http://raspberrypiwiki.com/How_to_Burning_System_for_the_eMMC_of_Raspberry_Pi_Compute_Module

    所有单板都烧写好后按照硬件准备中的描述连接好,并将每个板子配置好ssh连接,将公钥放置在~/.ssh/authorized_keys里面,以方便连接。确保可以通过***ssh@***能连上集群中每一个树莓派节点。

    3 安装Kubernetes并连接集群

    3.1 安装Kubernetes

    Lightweight Kubernetes (K3S)是一个面向IoT及边缘计算的Kubernetes版本,比较适合树莓派等资源有限的硬件。

    方式1:在每个树莓派板子上单独安装

    在server节点上运行

    curl -sfL https://get.k3s.io | sh -
    

    在每个worker节点上运行

    curl -sfL https://get.k3s.io | K3S_URL=https://<server_ip>:6443 K3S_TOKEN=<token> sh -
    

    PS:K3S_TOKEN:存在server节点的 **/var/lib/rancher/k3s/server/node-token**.

    方式2:使用Ansible自动化安装

    先在控制机上安装Ansible

    sudo apt update
    sudo apt install software-properties-common
    sudo apt-add-repository --yes --update ppa:ansible/ansible
    sudo apt install ansible
    

    下载k3s-ansible

    git clone https://github.com/rancher/k3s-ansible.git
    

    然后按照 https://github.com/rancher/k3... 的步骤,在inventory/my-cluster/hosts.ini里配置好server (master) 节点和worker(node)节点的IP地址。

    运行如下命令,Ansible会将K3S自动安装在集群的server节点和每个worker节点上

    ansible-playbook site.yml -i inventory/my-cluster/hosts.ini --ask-become-pass
    

    3.2 连接集群

    在控制机上安装kubectl

    sudo apt-get update && sudo apt-get install -y apt-transport-https gnupg2
    curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
    echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee -a /etc/apt/sources.list.d/kubernetes.list
    sudo apt-get update
    sudo apt-get install -y kubectl
    

    将配置文件从server节点拷贝至控制机并配置环境变量

    scp <user_name>@<server_ip>:~/.kube/config ~/.kube/rasp-config
    export KUBECONFIG=~/.kube/rasp-config
    

    连接查看集群

    kubectl get nodes
    

    大功告成,接下来就可以部署服务到集群了。

    展开全文
  • 云计算课程02分布式计算.ppt
  • 并行计算并行计算是相对于串行计算来说的可分为时间上的并行和空间上的 并行 时间上的并行就是指流水线技术而空间上的并行则是指用多个处理器并 发的执行计算并行计算的目的就是提供单处理器无法提供的性能处理器...
  • 为了达到更为经济的扩展集群的目的,从使用云计算扩展集群的角度出发,提出了一种集群扩展的基本构架;描述了本地优先策略和云环境优先策略,并根据云计算的特点,提出了一种基于计算强度的新型调度策略。此外,设计...
  • 为了达到更为经济的扩展集群的目的,从使用云计算扩展集群的角度出发,提出了一种集群扩展的基本构架;描述了本地优先策略和云环境优先策略,并根据云计算的特点,提出了一种基于计算强度的新型调度策略。此外,设计了调度...
  • 课程提供详细的课堂笔记,让你体验保姆式学习体验,并安排讲师做24小时内答疑,如果遇到问题请第一时间留言,我们会及时安排讲师答疑 《Linux云计算架构师》全套课程。
  • 该文档来自OpenStack Days China 2016。北京海云捷迅科技有限公司高级软件架构师马力和华为以色列研究所高级软件架构师Omer Anson发表的题为“大规模云计算集群中的数据库一致性解决方案” 的主题演讲,欢迎下载!
  • Research and Implementation of a Distributed Network Measurement System Based on Cloud Computing * 5 Zhang Qing, Jin Yuehui (Institute of Network Technology, Beijing University of Posts & Telecommuni
  • 为此,本文讨论并实现了基于云计算的神经网络学习算法。 首先,已经设计了一些实验来验证基于云计算的神经网络机器学习的可行性。 其次,被应用于特定的人脸识别,语音识别,情感计算等问题。 最后,通过实验验证,...
  • &nbsp;1-3-RHEL7基本命令操作 1.1Linux终端介绍 Shell提示符 Bash Shell基本语法。 1.2基本命令的使用:ls、pwd、cd。 1.3查看系统和BIOS硬件时间。 1.4 Linux如何获得帮助,Linux关机命令:shutdown、init等。...

     1-3-RHEL7基本命令操作

    • 1.1Linux终端介绍 Shell提示符 Bash Shell基本语法。
    • 1.2基本命令的使用:ls、pwd、cd。
    • 1.3查看系统和BIOS硬件时间。
    • 1.4 Linux如何获得帮助,Linux关机命令:shutdown、init等。
    • 1.5 Linux 7个启动级别,设置服务器在来电后自动开机。

    单词整理:

    Terminal : 终端     network-scripts 网络脚本   passwd 密码文件

     nologin 禁止登录    shutdown 关机   reboot 重启   poweroff  关机

    Grep 过滤     localhost 本机     useradd  添加用户

     

    graphical  图形

    tty控制台终端   ()

    pts虚拟终端     ()

     tty1-tty6  

    如是一开始进入的是图形图面:tty1  就是图形界面。

    图形界面切换到字符界面终端: Ctrl+Alt+F2-6 

    切换到图像界面       Alt+F1-F6

    pts虚拟终端

    pty(虚拟终端):

    如果我们远程telnet到主机时,不也需要一个终端交互么?

    是的,这就是虚拟终端pty(pseudo-tty)

     3. pts/ptmx(pts/ptmx结合使用,进而实现pty): 

    ctrl+shift+T  新建伪终端

    Alt + 数字键  终端切换

    Alt + F4 关闭终端

    使用who am i查询当前终端对应的pts

    新建一个终端 查看pts号是否一样呢?

    放大:ctrl+shift+ +

    缩小:ctrl+ -

    查看进程: 验证ssh的终端

    实验:使用ssh远程,查看pts

     

     

        pts(pseudo-terminal slave)  伪终端 :通过ssh相关工具连接上后,显示出来终端为:pts

    1.1.2 Shell提示符:

     [root@xuegod60 ~]#

    [san@xuegod60 ~]$

    用户名—主机名—当前的目录—root/普通用户

    1.1.3 Bash Shell基本语法

    如何输入命令

    查看所有的解释器:

    cat /etc/shells   

    [root@xuegod60 ~]# chsh -l

     命令的格式:

    命令字     [选项][参数]   

    命令字: 具体执行的命令

    选项:匹配的条件

    参数:命令处理的对象。

    1.2 基本命令操作:

    ls 命令

     作用:查看当前目录下有哪些文件

    语法:ls 目录 ,如果不加目录查看当前目录

    参数:

    -l显示详细信息   系统里面的快捷方式#ll=ls -l

    -a显示隐藏文件   

    -d查看目录(不查看里面的内容)

     

    为什么有的目录文件有不同的颜色呢?

    linux系统中不同的颜色代表了不同的文件类型

    蓝色              目录                             /etc

    黑色              文件                             /etc/passwd

    浅蓝色           链接                             /etc/grub2.cfg

    红色             压缩包                          boot.tar.gz 

    绿色             可执行文件                    /etc/init.d/network

    黑底黄字         设备文件                       /dev/sda

    1.2.2  Pwd命令

    1.2.3    Cd命令

    作用:切换目录

    语法:cd 目录名

    cd..  返回到上级目录位置

    1.3  系统时间管理:

    1.3.1    查看系统和BIOS硬件时间: 

    BIOS硬件时间

    [root@xuegod60 ~]# hwclock

    查看系统时间

    [root@xuegod60 ~]# date

    1.3.2    修改时间

    1.4.1  参数-h 或—help

    [root@xuegod60 ~]# date --help

    [root@xuegod60 ~]# fdisk –h

    [root@localhost ~]# man find

     help   查看内部命令帮助信息

    --help  查看外部命令帮助信息

    1.4.2     关机命令

    shutdown、 init 、reboot   poweroff

    shutdown

    作用:关机,重启,定时关机

    语法:shutdown  [选项]

    -r     => 重新启动计算机

    -h    => 关机

    -h + 时间  =>定时关机

    [root@xuegod60 ~]# shutdown -h +10

    10分钟之后关机

    [root@xuegod60 ~]# shutdown -h 23:30

    指定具体的时间点进行关机

    [root@xuegod60 ~]# shutdown -h now

    立即关机

    shutdown -r now  立即重启
    shutdown -r +10    #10 
    分钟以后重启
    shutdown -r  22
    :22     # 22:22 以后重启

     

    init 命令

     

    作用:切换系统运行级别

    语法:init  0-6

    Linux 7个启动级别:

    0 系统停机模式,系统默认运行级别不能设置为0,否则不能正常启动,机器关闭。
    1 单用户模式,root权限,用于系统维护,禁止远程登陆,就像Windows下的安全模式登录。
    2 多用户模式,没有NFS网络支持。
    3 完整的多用户文本模式,有NFS,登陆后进入控制台命令行模式。
    4 系统未使用,保留一般不用,在一些特殊情况下可以用它来做一些事情。例如在笔记本电脑的电池用尽时,可以切换到这个模式来做一些设置。
    5 图形化模式,登陆后进入图形GUI模式,X Window系统。
    6 重启模式,默认运行级别不能设为6,否则不能正常启动。运行init 6机器就会重启。

     

    1.4.3  启动级别配置:

    RHEL7不再使用/etc/inittab文件进行默认的启动级别配置

    systemd使用比sysvinit的运行级更为自由的target替代。

    第3运行级用multi-user.target替代。

    第5运行级用graphical.target替代。

    runlevel3.target和runlevel5.target分别是

    指向 multi-user.target和graphical.target的符号链接。

    切换到第3运行级

    [root@localhost ~]# systemctl isolate multi-user.target

    [root@localhost ~]# systemctl isolate runlevel3.target

     切换到第5运行级

    [root@localhost ~]# systemctl isolate graphical.target

    [root@localhost ~]# systemctl isolate runlevel5.target

     

    设置默认的运行界别

    设置默认第三启动级别

    [root@xuegod60 ~]# systemctl set-default multi-user.target

    Removed symlink /etc/systemd/system/default.target.

    Created symlink from /etc/systemd/system/default.target to /usr/lib/systemd/system/multi-user.target.

     

    设置默认第五启动级别

    [root@xuegod60 ~]# systemctl set-default graphical.target

    Removed symlink /etc/systemd/system/default.target.

    Created symlink from /etc/systemd/system/default.target to /usr/lib/systemd/system/graphical.target.

    查看当前默认的启动级别

    [root@xuegod60 ~]# systemctl get-default

    graphical.target

     

     

     

    实战,定时开机

    BIOS

    进入bios,一般是在开机后出现主板画面是按Delete这个键,部分品牌机可能按F2,F1

    Power Management Setup,就进入电源管理设置了

    通过回车进入这个设置后,选择Wake Up Event Setup,回车选择Press Enter

     

    继续回车选择,将Disabied 更改为Enabled,然后继续回车确定。然后再继续设置时间点和日

     

    展开全文
  • cat/etc/redhat-release 查看CentOS版本 第三章 Linux基本命令操作 3.1 Linux终端介绍、Shell提示符、Bash基本语法 3.1.1 登录LINUX终端 3.1.3 shell提示符“#”号与“$”号的区别 3.2...

    https://www.cnblogs.com/peida/archive/2012/12/05/2803591.html

    cat /etc/redhat-release 查看CentOS版本

    第三章 Linux基本命令操作

    3.1  Linux终端介绍、Shell提示符、Bash基本语法

    3.1.1  登录LINUX终端

    3.1.3  shell提示符“#”号与“$”号的区别

    3.2 开关机命令及7个启动级别

    3.3 实战:设置服务器来电后自动开机

    3.4 设置服务器定时开机

     

    4.2 文件的管理

    4.3 查看文件(cat   more    less    head    tail    wc)

    4.4移动、编辑指令(mkdir、touch、cp等)

    4.5 实战:xfs文件系统的备份和恢复

    4.6 > 指令 和 >> 指令

    4.7 date指令

    第五章  Vim编辑器和恢复ext4下误删除的文件-Xmanager工具

    5.1  vim主要模式介绍,vim命令模式

    5.2  实战:在Centos6/RHEL6上恢复ext4文件系统下误删除的文件

    5.3  实战:使用xmanager等远程连接工具管理Linux

    第六章  Centos7用户管理

    6.1 用户账号

    6.2 用户管理

    6.3实战:进入centos7 紧急模式恢复root密码

    6.4关机、重启

    第七章  Centos7-文件权限管理

    rwx权限详解

    7.1 文件的基本权限

    7.2 文件的特殊权限:suid sgid sticky和文件扩展权限ACL

    7.3实战:创建一个让root都无法删除的文件

    第八章  Centos7软件包的管理与安装

    8.1  软件包的管理

    8.2  YUM的使用

    8.3 实战tar源码包管理-srpm源码包安装方法

    第九章

    crontab任务调度

     

     

     

     

     

     

     

     

    展开全文
  • { "registry-mirrors":[ "https://[YOUR-OWN-MIRROR]" ] }
  • 1.首先要使得要配成集群环境的几台机器安装jdk 2.在每台机器上安装ssh 3.在每台机器上安装hadoop     在这个基础上,再来配置各机器之间的分布实现。 首先来说明一下:Linux系统下jdk的安装吧! ...

    前提条件:

    1.首先要使得要配成集群环境的几台机器安装jdk

    2.在每台机器上安装ssh

    3.在每台机器上安装hadoop

     

     

    在这个基础上,再来配置各机器之间的分布实现。

    首先来说明一下:Linux系统下jdk的安装吧!

               因为要配置成集群环境,所以每台机器的jdk软件包的版本必须一致,当然,hadoop的jar包的版本也必须一致,不然,会出现意想不到的错误,我们组在配置时就犯了这个错误,还必须注意:每台机器jdk和hadoop解压后的文件夹也必须放到统一的目录下:jdk解压后放在/usr/local/java,hadoop解压后是放在/usr/local/hadoop中。

     大致分为一下几个步骤:

     

    1.从网站上下载:jdk软件包。我们组用的是:

     

     2在/usr/local下建立java目录。

     

    3.将jdk软件包复制到java目录中。

     

    4.给jdk文件赋予权限,可以使得当前用户操作。

     

    5.解压jdk软件包,进行安装。

     

         在终端输入:sudo ./jdk-6u30-linux-i586.bin

    6.配置环境变量。

     

      sudo gedit /etc/profile

    在这个文件中输入以下内容


    7.重启计算机,查看jdk是否安装成功。

     

    在终端输入: java -version

     出现如上图所示:就表示:jdk已经安装成功。

     

     

     安装ssh:

    在终端输入:

    sudo apt-get install ssh

    sudo apt-get install rsync

    ssh-keygen -t rsa -P ' ' -f ~/.ssh/id_rsa

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    然后验证是否安装成功:

    ssh localhost

    出现如下图所示:就表示安装成功。


     

     

    安装hadoop:

    1.将hadoop软件包复制到/usr/local中

     

    2.解压该hadoop软件包到当前路径下:

    sudo tar xzf hadoop-0.20.203.tar.gz

     

    3.为了方便起见:将其重命名。

    mv hadoop-0.20.203 hadoop

     

    4.必须将该文件夹的权限赋给当前登录用户。

    为了集群的方便管理,我们还可以建立一个hadoop组和hadoop用户(hadoop用户是在hadoop组下的)。

    sudo addgroup hadoop(建立hadoop组)

    sudo adduser -ingroup hadoop hadoop(创建hadoop用户,并将该用户归到hadoop组中)

    给hadoop用户添加权限

    sudo gedit /etc/sudoers

    在该文件的root All=(All) All的下一行添加:

    hadoop All=(All) All
    以上表示:每台机器的准备工作已经做好。

     

     

    再从这些机器中选取一台作为namenode节点.

    1.必须使namenode能够无密码登录到其他的datanode节点。所以,要将namenode的公钥发送给其他datanode节点。在 namenode的终端输入:scp ~/.ssh/id_rsa.pub hadoop@机器名 ~/.ssh/authorized_keys

    其原理就是:当namenode要无密码登录到其他datanode节点后,datanode就可以用namenode的公钥进行解密,从而之间可以进行通信。

    2.配置hadoop环境

    在集群中的每台机器的hostst文件将集群中所有机器的ip加入进来,由于ip太长,我们可以给ip做个映射,即:ip  机器名

     在 namenode机器上的/usr/local/hadoop/conf的目录下新建masters和slaves文件。masters文件里将 secondarynode的机器名添加进去,masters文件里表明的是这个集群中谁作为备份节点。然后在slaves里面添加:所有 datanode的机器名。这个slaves和masters文件只需在namenode机器上创建。slaves文件里的内容代表:当namenode 启动时:可以自行也将其他datanode也启动。

    然后配置:/usr/local/hadoop/conf/core-site.xml,将如下内容添加进去。


    <configuration>
    <property>  
      <name>fs.default.name</name>  
      <value>hdfs://master:9000</value>   
     </property>  
    </configuration>


    然后在配置:/usr/local/hadoop/conf/hdfs-site.xml,将一下内容添加进去。


    <configuration>
    <property>
    <name>dfs.name.dir</name>
    <value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
    </property>
    <property>
    <name>dfs.data.dir</name>
    <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
    </property>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>
    </configuration>


    在配置:/usr/local/hadoop/conf/mapred-site.xml,将以下内容添加进去


    <configuration>  
         <property>   
          <name>mapred.job.tracker</name>  
          <value>master:9001</value>   
         </property>  
        </configuration>

     
    然后,再将namenode的这个三个配置文件全部复制到其他datanode上去。
    这样,集群环境就已经配置成功!
    启动namenode节点。
    在namenode结点的终端输入:sudo bin/hadoop namenode -format
                           bin/start-all.sh
    停止hadoop进程。
      bin/stop-all.sh
    查看集群中有几个datanode,
    bin/dfsadmin -report

     

     

    感悟:由于这个集群环境是过年之前配置的,当时没有写文档,而且配置过程中遇到过很多问题,没有记录,导致现在重新回想这个过程,感觉很吃力。虽然集群配置环境只有这么几个步骤,但是,每一步配置的时候,会遇到各种问题。所以,各位在配置这个环境时,如遇到问题,请及时记录,以便以后好好研究。

     

     

     

     

    展开全文

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 55,131
精华内容 22,052
关键字:

云计算集群