精华内容
下载资源
问答
  • 最近参加了第一届云计算大赛。大二开始跟着老师做云计算的项目,还正在看老师发给我的项目资料呢,突然就来了这么个比赛,放下手中的ACM和其他琐事,开始琢磨着这个云计算大赛。比赛分为三个类别:创意赛,技能赛,...

    身处大数据时代,一下子一个词:“云计算”火了起来。最近参加了第一届云计算大赛。大二开始跟着老师做云计算的项目,还正在看老师发给我的项目资料呢,突然就来了这么个比赛,放下手中的ACM和其他琐事,开始琢磨着这个云计算大赛。比赛分为三个类别:创意赛,技能赛,命题赛。权衡之后,加上老师的建议选择了技能赛,简单来说就是主办方出了4道题目给你做,然后我要做的事就是把Map Reduce代码交给他。运行环境就是hadoop,为什么是hadoop呢?一个理由就是选择的原因,开源!hadoop下的分布式系统适合于大数据处理。

    第一步,安装Linux操作系统(windows下就真的别考虑了),理论上装个虚拟机和双系统都是可以的(PC不建议Linux单系统23333),推荐装双系统,幸好大一在学校电脑社团混的不错,装系统不成问题,个人选择了Ubuntu12.04(别问我为什么,简单,任性),装系统简单说下吧,Win7+ubuntu12.04,在Win7下用软碟通制作个Ubuntu12.04的启动盘,百度一下,步骤很详细。

    第二步,假设你的Ubuntu12.04已经安装成功了,下面就是安装hadoop之前的一些配置。需要一些Linux的命令行操作知识。妈妈说如果Ctrl+Alt+T打开命令行都不知道的话真的是一件很可怕的事。下面我一一道来。

    1. 创建hadoop用户组:

     sudo addgroup hadoop

    2. 创建hadoop用户:

     sudo adduser -ingroup hadoop hadoop

    3. 给hadoop用户添加权限,打开/etc/sudoers文件:

     sudo gedit /etc/sudoers

    按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限。

    在root   ALL=(ALL:ALL)   ALL下添加hadoop   ALL=(ALL:ALL)  ALL,

     hadoop  ALL=(ALL:ALL) ALL

    至此,准备的第一部分做好了。

    第三步,安装JDK。没有JDK你跑什么java你跑什么hadoop!

    使用如下命令执行即可:

     sudo apt-get install openjdk-6-jre
    确保你的电脑联网好不好,应该要联网吧。。之前看百度说Linux自带JDK?不清楚。反正多干不会错的。

    第四步,修改机器名,方便操作,增加可识别度。

    每当ubuntu安装成功时,我们的机器名都默认为:ubuntu ,但为了以后集群中能够容易分辨各台服务器,需要给每台机器取个不同的名字。机器名由 /etc/hostname文件决定。

    1. 打开/etc/hostname文件:

     sudo gedit /etc/hostname

    2. 将/etc/hostname文件中的ubuntu改为你想取的机器名。这里我取"jingfengxu-ubuntu"。 重启系统后生效。

    第五步:安装ssh服务(不懂是为了啥,大概就是服务器远程登录,照做就是了)

    安装openssh-server,

     sudo apt-get install ssh openssh-server
    第六步:建立无密码登陆本机(单机环境我觉得意义不大,鉴于步骤不多,照做。。。)

    这时假设您已经安装好了ssh,您就可以进行第六步了哦~

    首先要转换成hadoop用户,执行以下命令:

     su - hadoop

    ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。

    1. 创建ssh-key,,这里我们采用rsa方式:

     ssh-keygen -t rsa -P ""

    (注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的)

    2. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的:

     cd ~/.ssh
    cat id_rsa.pub >> authorized_keys

    完成后就可以无密码登录本机了。

    3. 登录localhost:

     ssh localhost

    当ssh远程登录到其它机器后,现在你控制的是远程的机器,需要执行退出命令才能重新控制本地主机。

    4. 执行退出命令:

     exit
    第七步:基本配置就算完成了,下面安装hadoop了,企业开发版本都是hadoop2.5.x了,但是主办方要求hadoop2.4.x,一万只草泥马在心中奔涌!我找遍了百度,也没翻到2.4的版本,在hadoop交流群里得知csdn里面有2.4。。。一千万只草泥马在心中奔涌!

     hadoop链接: http://pan.baidu.com/s/1bnCPRpd 密码: csrw
    注意一下压缩文件格式是tar.gz就行了。至此hadoop安装成功!具体运行放在下个博文中,包括4道题目的等等,未完待续。
    完结撒花23333333333333333333333

    展开全文
  • 文章讲的是云计算大赛:部署盛大云主机抢先开发,11月26日,盛大云计算创意&开发大赛正式启动,高额的奖金和对创意方向不做限制的全开放式赛制立刻吸引了开发者的关注。小马也是其中之一,开赛一周多的时间以来,...
    文章讲的是云计算大赛:部署盛大云主机抢先开发11月26日,盛大云计算创意&开发大赛正式启动,高额的奖金和对创意方向不做限制的全开放式赛制立刻吸引了开发者的关注。小马也是其中之一,开赛一周多的时间以来,他连续提交了云端私人音乐电台、送好礼、听博客、零艾滋、抢位子、Node.js应用平台六大创意,还抢先部署了盛大云主机,开始着手开发了。

    云计算大赛:部署盛大云主机抢先开发发

      这不是小马第一次参加盛大的开发大赛。一年前,小马参加了第一届Bambook开发者大赛,获得了一台Bambook电子书。而不久前,当得知盛大云计算创意&开发大赛启动并将颁发高达几十万奖金的消息时,刚好在关注云计算技术的他立刻心动了。这一次,他无疑准备得更为充分。在自己的作品中,小马最看好node.js应用托管平台。这个想法来自于他在做开发时想找一个能运行node.js的服务器,但是一直找不到合适的,于是就萌生了自己用盛大云计算创建一个的念头。

      “本次大赛最吸引我的地方是盛大云提供的内含一千元的平台账号,在此期间,我会充分利用这个机会,将自己的想法实现。但是这个账号要等入围奖公布之后才提供,而我已经迫不及待地想把自己的想法变成现实。刚好盛大云主机也不贵,最便宜的一款云主机包月只需几十块钱,不过一杯咖啡的价钱,于是就先买了一个,开始抢先体验了。”小马告诉记者。

      除了自己的作品外,小马目前最看好人脸识别api的项目,认为这个很符合云计算的特点,也很有前途,希望他们开放api后能同时发布node.js版本的sdk,双方可以进行赛内合作。


    原文发布时间为:2011-12-20

    本文作者:刘亚琼

    本文来自云栖社区合作伙伴IT168,了解相关信息可以关注IT168。

    展开全文
  • 虚拟环境下的综合实验系统概要设计说明书,虚拟化与云计算将给我们带来巨大的机遇
  • 先电云计算大赛docker平台搭建

    千次阅读 热门讨论 2019-10-28 06:16:39
    该操作在CRT中进行,由于自己使用的虚拟机,所有关于上传镜像部分会和实际操作不一样,但是本质上是一样的。 本实验环境采用server+client两个节点部署 此次操作所需的IP可自己自行设置。 所需镜像: ...

    该操作在CRT中进行,由于自己使用的虚拟机,所有关于上传镜像部分会和实际操作不一样,但是本质上是一样的。

    本实验环境采用server+client两个节点部署
    此次操作所需的IP可自己自行设置。

    所需镜像:

    XianDian-PaaS-v2.2

    CentOS-7-x86_64-DVD-1511(在服务器上搭建docker服务是不需要上传这个镜像的)

    下面的基础环境1-4步骤在两个节点均要设置,不能遗漏。

    1、关闭selinux

    # vi /etc/sysconfig/selinux
    SELINUX=disabled
    #reboot
    # getenforce
    Disabled

    2、关闭防火墙

    # systemctl stop firewalld.service

    3、删除iptables防火墙规则

    # iptables –F
    # iptables –X
    # iptables –Z
    # /usr/sbin/iptables-save
    

    4、修改系统内核,打开内核转发功能。

    #vi /etc/sysctl.conf
    net.ipv4.ip_forward = 1
    net.ipv4.conf.default.rp_filter = 0
    net.ipv4.conf.all.rp_filter = 0
    保存退出
    # sysctl –p

    修改主机名、配置域名解析

    server节点:

    #hostnamectl set-hostname server
    #bash
    # vi /etc/hosts(内网IP)
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    10.0.3.137 server
    10.0.3.138 client
    # ping client
    PING client (10.0.3.138) 56(84) bytes of data.
    64 bytes from client (10.0.3.138): icmp_seq=1 ttl=64 time=1.02 ms
    64 bytes from client (10.0.3.138): icmp_seq=2 ttl=64 time=0.400 ms

    client节点:

    # hostnamectl set-hostname client
    # bash
    # vi /etc/hosts(内网IP)
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    10.0.3.137 server
    10.0.3.138 client
    # ping server
    PING server (10.0.3.137) 56(84) bytes of data.
    64 bytes from server (10.0.3.137): icmp_seq=1 ttl=64 time=0.531 ms
    64 bytes from server (10.0.3.137): icmp_seq=2 ttl=64 time=0.327 ms

    备份

    # mv /etc/yum.repos.d/* /media/

    lsblk

    第一个是没有在虚拟机连接镜像,第二个连接上了镜像,一定要连上镜像在做。

    配置yum源(server)

    将我们的XianDian-PaaS-v2.2.iso通过CRT上传到系统中,然后挂载到/mnt,拷贝出mnt里面所有的文件夹到/opt上。lsblk的用处我在搭建iaas平台的时候,展示过,在这里就不介绍了。

    #lsblk
    #mount -o loop /dev/sr0  /mnt/
    #mkdir /opt/centos
    #cp -rvf /mnt/* /opt/centos/
    #umount  /mnt/
    #mount -o loop /dev/sr1  /mnt/
    #cp -rvf /mnt/* /opt/
    #umount  /mnt/

    此处我是在虚拟机的基础上连接着CRT上操作,所以多挂载了一个镜像(centos镜像),如果不多挂镜像,那么在安装docker服务时,就会一直报错。同样在创建repo文件时,我也多编辑centos文件吧,我也表达不清楚。

    创建server节点的repo文件

    # vi /etc/yum.repos.d/docker.repo 
    [centos]
    name=centos
    baseurl=file:///opt/centos 
    gpgcheck=0
    enabled=1
    [docker]
    name=docker
    baseurl=file:///opt/docker
    gpgcheck=0
    enabled=1

    安装vsftpd服务(server)

    # yum install -y vsftpd
    # vi /etc/vsftpd/vsftpd.conf 
    添加anon_root=/opt/
    退出保存 
    # systemctl restart vsftpd 
    # systemctl enable vsftpd

    创建client节点的repo文件

    # vi /etc/yum.repos.d/docker.repo (外网)
    [centos]
    name=centos
    baseurl=ftp://192.168.100.16/centos 
    gpgcheck=0
    enabled=1
    [docker]
    name=docker
    baseurl=ftp://192.168.100.16/docker
    gpgcheck=0
    enabled=1

    关闭防火墙(两个节点都关)

    #systemctl stop firewalld
    #systemctl disable firewalld

    清理yum源(两个节点都执行)

    #yum clean all
    #yum list

    安装Docker服务(两个节点都执行)

    # yum install -y docker
    # systemctl restart docker
    # systemctl enable docker

    以下部署仓库或者启动服务什么的都要在server节点上进行

    部署Docker 仓库(server),上传仓库部署使用的镜像。

    #cd /opt/images/rancher1.6.5/
    # ll
    -rw-r--r-- 1 root root   33918976 Oct 17 10:20 registry_latest.tar
    # docker load -i registry_latest.tar
    # docker images
    REPOSITORY           TAG                 IMAGE ID            CREATED             SIZE
    docker.io/registry   latest              c9bd19d022f6        15 months ago       33.27 MB
    

    启动仓库容器服务

    # docker run -d -p 5000:5000 --restart=always --name registry docker.io/registry:latest
    20a07207bf28256d13fbc53cf2a1d978a4827bf8f360b32a8106d996f024c001
    # docker ps -a
    CONTAINER ID        IMAGE                       COMMAND                  CREATED             STATUS              PORTS                    NAMES
    20a07207bf28        docker.io/registry:latest   "/entrypoint.sh /etc/"   8 seconds ago       Up 3 seconds        0.0.0.0:5000->5000/tcp   registry

    2.2.3、设置仓库地址

    注意:两个节点都要添加仓库地址。

    # vi /etc/sysconfig/docker //添加下面两行
    ADD_REGISTRY='--add-registry 10.0.3.137:5000'
    INSECURE_REGISTRY='--insecure-registry 10.0.3.137:5000'
    # systemctl daemon-reload
    # systemctl restart docker
    # docker info (client节点之后就不在执行,任何步骤)
    # docker images
    # docker tag c9bd19d022f6 10.0.3.137:5000/registry:latest
    # docker push 10.0.3.137:5000/registry:latest

    至此仓库就建立好了,我们需要将所有镜像全部推送到仓库中,提供给其他节点使用。

    部署Rancher-Server服务,上传rancher-server镜像

    # ll
    -rw-r--r-- 1 root root 1000050176 Jan 29 06:23 rancher_server_v1.6.5.tar
    # docker load -i rancher_server_v1.6.5.tar
    # docker images
    REPOSITORY                 TAG                 IMAGE ID            CREATED             SIZE
    <none>                     <none>              f89070da7581        3 weeks ago         984.9 MB
    10.0.3.137:5000/registry   latest              c9bd19d022f6        15 months ago       33.27 MB
    docker.io/registry         latest              c9bd19d022f6        15 months ago       33.27 MB
    # docker tag f89070da7581 10.0.3.137:5000/rancher/server:v1.6.5
    # docker push 10.0.3.137:5000/rancher/server:v1.6.5

    启动rancher-server服务

    # docker run -d --restart=unless-stopped -p 8080:8080 rancher/server:v1.6.5;
    2ff52cf39d6f2637ac300e7d430dc828fba99cef4ec118793e91e9d680a16509
    # docker ps -a
    CONTAINER ID        IMAGE                       COMMAND                  CREATED             STATUS              PORTS                              NAMES
    2ff52cf39d6f        rancher/server:v1.6.5       "/usr/bin/entry /usr/"   18 seconds ago      Up 6 seconds        3306/tcp, 0.0.0.0:8080->8080/tcp   modest_turing
    20a07207bf28        docker.io/registry:latest   "/entrypoint.sh /etc/"   39 minutes ago      Up 38 minutes       0.0.0.0:5000->5000/tcp             registry
    

    通过网页访问

    Rancher-server的访问地址是:serverIP:8080

    搭建docker平台完成

    展开全文
  • 先电云计算大赛中iaas平台搭建

    千次阅读 2019-10-27 11:51:18
    由于搭建该平台需要两个节点,大家可查看我之前写的“Linux双网卡配置,超级详细(可适用云计算iaas搭建)”,里面有展示如何搭建两个节点的操作步骤。 使用镜像: CentOS-7-x86_64-DVD-1511.iso XianDian-IaaS-v...

    该操作CRT中操作。由于搭建该平台需要两个节点,大家可查看我之前写的“Linux双网卡配置,超级详细(可适用云计算iaas搭建)”,里面有展示如何搭建两个节点的操作步骤。

    使用镜像:
      CentOS-7-x86_64-DVD-1511.iso
      XianDian-IaaS-v2.2.iso

    节点:
       控制节点:controller  
               IP:192.168.100.10     192.168.200.10

       计算节点:compute
               IP:192.168.100.20     192.168.200.20

    由于我在创建虚拟机时,便在虚拟机设置中添加了两个镜像,第一个是centos的,第二个是xiandian的,所以我使用lsblk来查看镜像是否挂上。如果没有挂上可在虚拟机设置上找到镜像,在已连接上打钩,就可以了,然后继续用lsblk查看一下。

    下面我展示的是另一种方法,即是使用原来虚拟机中的镜像,而不是重新上传镜像,因为在由于是虚拟机,所有是适用的,当然我们可以在SecureCRTPortable手动上传,关于手动上传网上是可以找到的。这些步骤但是一样的,没有差别。

    lsblk

    sr0为centos镜像   4G     sr1为xiandian镜像 2.7G

    yum源备份(两个节点都要执行)

    #mv /etc/yum.repos.d/*  /media/

    挂载镜像(controller)

    [root@controller ~]#lsblk
    [root@controller ~]#mkdir /opt/centos
    [root@controller ~]# mount -o loop /dev/sr0  /mnt/
    [root@controller ~]# cp -rvf /mnt/* /opt/centos/
    [root@controller ~]# umount  /mnt/
    [root@controller ~]#mkdir /opt/iaas
    [root@controller ~]# mount -o loop /dev/sr1  /mnt/
    [root@controller ~]# cp -rvf /mnt/* /opt/iaas/
    [root@controller ~]# umount  /mnt/

    创建controller节点repo文件

    [root@controller ~]#vi /etc/yum.repos.d/centos.repo
    [centos]
    name=centos
    baseurl=file:///opt/centos
    gpgcheck=0
    enabled=1
    [iaas]
    name=iaas
    baseurl=file:///opt/iaas/iaas-repo
    gpgcheck=0
    enabled=1

    搭建ftp服务器,开启并设置自启

    [root@controller ~]# yum install vsftpd –y
    [root@controller ~]# vi /etc/vsftpd/vsftpd.conf
     添加anon_root=/opt/
    保存退出
      
    [root@controller ~]# systemctl start vsftpd
    [root@controller ~]# systemctl enable vsftpd

    创建compute节点repo文件

    [root@compute ~]# vi /etc/yum.repos.d/centos.repo
    [centos]
    name=centos
    baseurl=ftp://192.168.100.10/centos
    gpgcheck=0
    enabled=1
    [iaas]
    name=iaas
    baseurl=ftp://192.168.100.10/iaas/iaas-repo
    gpgcheck=0
    enabled=1

    关闭防火墙并设置开机不自启(两个节点都要执行)

    #systemctl stop firewalld
    #systemctl disable firewalld

    清除缓存验证yum源,设置controller节点防火墙

    [root@controller ~]#yum clean all
    [root@controller ~]#yum list
    [root@controller ~]#vi /etc/selinux/config
    SELINUX=permissive
    [root@controller ~]#setenforce 0
    [root@controller ~]#getenforce
    permissive
    
    【compute】
    [root@compute ~]# yum clean all
    [root@compute ~]# yum list

    编辑环境变量(两个节点都要执行)

    # yum install iaas-xiandian -y
    #vi /etc/xiandian/openrc.sh
    HOST_IP=192.168.100.10
    HOST_NAME=controller
    HOST_IP_NODE=192.168.100.20
    HOST_NAME_NODE=compute
    RABBIT_USER=openstack
    RABBIT_PASS=000000
    DB_PASS=000000
    DOMAIN_NAME=demo(自定义)
    ADMIN_PASS=000000
    DEMO_PASS=000000
    KEYSTONE_DBPASS=000000
    GLANCE_DBPASS=000000
    GLANCE_PASS=000000
    NOVA_DBPASS=000000
    NOVA_PASS=000000
    NEUTRON_DBPASS=000000
    NEUTRON_PASS=000000
    METADATA_SECRET=000000
    INTERFACE_NAME=enp9s0(外网网卡名)
    CINDER_DBPASS=000000
    CINDER_PASS=000000
    TROVE_DBPASS=000000
    TROVE_PASS=000000
    BLOCK_DISK=md126p4(空白分区名)
    SWIFT_PASS=000000
    OBJECT_DISK=md126p5(空白分区名)
    STORAGE_LOCAL_NET_IP=192.168.100.20
    HEAT_DBPASS=000000
    HEAT_PASS=000000
    CEILOMETER_DBPASS=000000
    CEILOMETER_PASS=000000
    AODH_DBPASS=000000
    AODH_PASS=000000

    一定记得把注释“#”去掉!!!

    #iaas-pre-host.sh

    安装完成后同时重启
     

    # reboot

    这三个脚本安装需要在controller节点进行

    通过脚本安装服务

    [root@controller ~]#iaas-install-mysql.sh

    通过脚本安装keystone服务

    [root@controller ~]#iaas-install-keystone.sh

    通过脚本安装glance服务

    [root@controller ~]#iaas-install-glance.sh

    两边节点都要执行

    通过脚本安装nova服务

    【controller】
    [root@controller ~]#iaas-install-nova-controller.sh
    【compute】
    [root@compute ~]# iaas-install-nova-compute.sh

    通过脚本安装neutron服务

    【controller】
    [root@controller ~]#iaas-install-neutron-controller.sh
    【compute】
    [root@compute ~]# iaas-install-neutron-compute.sh

    安装Neutron网络服务

    【controller】
    [root@controller ~]#iaas-install-neutron-controller-gre.sh
    【compute】
    [root@compute ~]# iaas-install-neutron-compute-gre.sh
    


    通过脚本安装dashboard服务

    【controller】
    [root@controller ~]#iaas-install-dashboard.sh

    进网页:192.168.100.10/dashboard,进到网站iaas平台便以搭建完成。

    展开全文
  • 先电云计算大赛大数据平台搭建

    千次阅读 2019-10-28 18:23:13
    该操作是在虚拟机的基础上进行搭建,用CRT连接。该操作需要两个节点,分别是master和slave1节点。我并没有展示使用CRT进行常规操作,比如说:挂载镜像那个地方,这是因为是虚拟机所有可以,如果在服务器上就不能使用...
  • 创建2台centos7 虚拟机 一台命名为controller 一台命名为compute 网络适配器2个:桥接模式连接 一、使用主机名互相通信 1.修改主机名 controller & compute #hostnamectl set-hostname controller ...
  • 今天晚上11点半,我去查成绩的时候发现云计算比赛晋级了,这个月查这个成绩可以说是有100次了吧,每次都未果,单得知自己成功晋级之后我很开心,不知道心里对这个结果有多少次的幻想了。塞翁失马焉知非福,但是结果...
  • 同样的:和上次的博文一样,也是一边写,一边操作,一边截图整理的文档,图片部分不方便一一上传,量大务繁,如有能帮助您的,或是有需求的,这里贴出文档具体,自行下载 ... 主要是参考的网上的教程:可取之点...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 464
精华内容 185
关键字:

云计算大赛