精华内容
下载资源
问答
  • linux集群服务器搭建

    2021-03-15 16:18:19
    linux集群服务器搭建 虚拟机的克隆 采用的是完整克隆 必须在关机状态下对已有的虚拟机进行克隆 完整克隆意味着两台机器的内容是一模一样的 但是有些东西又不能一样 linux中万物皆文件 针对任何东西属性修改 最终...

    linux集群服务器搭建

    • 虚拟机的克隆

      • 采用的是完整克隆 必须在关机状态下对已有的虚拟机进行克隆
      • 完整克隆意味着两台机器的内容是一模一样的 但是有些东西又不能一样
      • linux中万物皆文件 针对任何东西属性修改 最终修改的都是文件 永久生效必须修改文件
      #ip  /etc/sysconfig/network-scripts/ifcfg-eth0
      	1、删除mac地址:HWADDR
      	2、修改IP: IPADDR
      
      #网卡MAC地址
      	1、关机状态下,右键-->设置-->网络适配器-->高级-->生成一个新的mac地址
      	2、删除mac配置文件  该文件在下次重启的时候 如果不存在 系统就会根据设置自动重新生成一个
      	rm -rf /etc/udev/rules.d/70-persistent-net.rules
      	
      #主机名 hostname
      	vim /etc/sysconfig/network
      	hostname=node-2
      	
      reboot重启机器	
      
    • IP的配置文件详解

      /etc/sysconfig/network-scripts/ifcfg-eth0

      DEVICE=eth0      #网卡的设备名称
      TYPE=Ethernet
      UUID=26e46d47-e806-4beb-918d-bee29df0b235
      ONBOOT=yes       #网卡服务是否开机启动  
      NM_CONTROLLED=yes
      BOOTPROTO=none   #ip配置方式   dhcp  static   none
      HWADDR=00:0C:29:9E:B4:51  #网卡的mac地址 此文件中该属性意义不大 可以删除
      IPADDR=192.168.227.151    #ip地址
      PREFIX=24                # 11111111  11111111 11111111 00000000  子网掩码
      						 # NETMASK=255.255.255.0
      GATEWAY=192.168.227.2    # 网关
      DNS1=192.168.227.2       # dns1 网关进行解析
      DOMAIN=114.114.114.114   # dns2 公网的dns进行解析
      DEFROUTE=yes
      IPV4_FAILURE_FATAL=yes
      IPV6INIT=no
      NAME="System eth0"
      
    • linux的服务的开启关闭 和自启动设置

      service 服务名   start|stop|status  启动|关闭|服务状态
      #service命令是单次控制服务状态  并不能影响下次开启是否启动
      
      chkconfig 服务名 on|off   开机自启|开机不启
      
    • 防火墙(3台服务器都需要执行)

      #防火墙iptables
      service iptables stop  
      chkconfig iptables off
      
      #防火墙selinux   修改配置文件之后 在下次重启的时候生效
      vim /etc/selinux/config
      SELINUX=disabled
      
    • 主机名host映射(hosts文件)(3台服务器都需要执行)

      • 当我们输入主机名或者域名的时候 系统会首先去本地hosts文件中寻找映射关系 看对应的ip是多少

        如果有映射关系 就根据对应的ip去访问机器

      • 如果本地hosts文件没有映射 系统就会去访问DNS服务器进行域名解析

        如果有 就根据对应的ip去访问

      • 如果上述两步都没有解析出来 意味着只能通过ip访问了。

      #linux hosts文件: /etc/hosts
      127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
      ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
      
      192.168.227.151 node-1
      192.168.227.152 node-2
      192.168.227.153 node-3
      
      #windosws hosts文件  C:\Windows\System32\drivers\etc\hosts
      192.168.227.151 node-1
      192.168.227.152 node-2
      192.168.227.153 node-3
      
    • linux系统之间的免密登录

      • 知识点:SSH协议(单方向验证的过程)
      • 工具:linux系统内置软件:openSSH(sshd)
      #step1 在node-1上使用命令生成一对公钥和私钥
      ssh-keygen   四下回车
      
      #查看一下生成的公钥和私钥
      [root@node-1 .ssh]# ll
      total 12
      -rw------- 1 root root 1675 May 13 22:12 id_rsa      #私钥
      -rw-r--r-- 1 root root  393 May 13 22:12 id_rsa.pub  #公钥
      -rw-r--r-- 1 root root  404 May 13 22:05 known_hosts
      [root@node-1 .ssh]# pwd   #本地公钥保存的路径
      /root/.ssh
      
      
      #step2 在node-1上把公钥拷贝给其他机器 该机器就是你需要远程免密登录的机器
      ssh-copy-id node-2
      
      #step3  后续登录node-2就不需要输入密码了
      ssh node-2
      #如果退出返回本机 输入命令
      exit
      
      • 注意:自己免密登录自己的时候 也需要配置免密登录

        [root@node-1 ~]# ssh-copy-id node-1
        root@node-1's password: 
        
      • 课程中要求,至少打通以下方向的免密登录

        node-1----->node-1
        node-1----->node-2
        node-1----->node-3
        
    • 远程拷贝文件–scp

      • 如果没有配置免密登录 在scp的时候就需要输入密码 如果配置了免密登录 就省去了输入密码
      #把文件从本机文件系统拷贝到其他机器上
      	scp 1.txt root@node-2:/root/
      	scp -r test/ root@node-2:/root/
      
      #把文件从其他机器上拷贝到本机文件系统
      	scp root@node-2:/root/1.txt ./
      	
      #注意事项
      	1、之所以在scp的时候不需要输入密码  原因:是因为配置了机器间免密登录 否则的话是需要输入密码的
      	2、之所以在sco的时候可以写node-1 node-2主机名 原因:是以为我们配置了hosts文件。否则输入IP
      
    • linux的时间同步问题

      #查看linux系统当前时间
      date
      
      #使用命令把本机时间和国家授时中心的时间同步
      	#step1 使用yum命令在线安装
      	yum install -y ntpdate
      
      	#step2 和服务器进行时间同步
      	ntpdate ntp3.aliyun.com
      
      #阿里云免费的ntp授时地址
      https://eallion.com/aliyun-ntp/
      
      • 注意:进行时间的同步有两种形式:ntpdate ntpd

        ntpdate 是一种命令   需要自己手动的执行  跟服务器进行同步  后面如果有了偏差继续手动执行
        ntpd    是一种软件服务 配置好之后 可以跟服务器进行通信 不断修正时间 保持一致
        
      • 推荐:在课程中使用ntpdate进行时间同步 立即同步的效果 后续如果时间不一致了 再执行一遍。

      • 如果在企业中 真实服务器 可以考虑配置ntpd服务 一直运行 不断修正时间。


    linux常用软件的安装

    • JDK(3台机器安装

      #Centos系统自带了OpenJDK  把其卸载  安装Oracle JDK(甲骨文)
      
      #step1:从已经安装的rpm包中找出jdk相关的包
      [root@node-2 ~]# rpm -qa |grep java
      java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64
      tzdata-java-2016j-1.el6.noarch
      java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64
      
      #step2:卸载openJDK相关的rpm包
      rpm -e --nodeps  java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64
      
      
      #step3:统一制定安装软件的相关目录
      mkdir -p /export/servers    #软件安装
      mkdir -p /export/software   #安装包
      mkdir -p /export/data       #数据存放
      
      #step4: 安装oraclejdk 上传安装包到/export/servers
      
      jdk-8u65-linux-x64.tar.gz  #要求JDK必须是1.8版本
      
      涉及多台机器安装同一个软件 常见的做法是在一台机器安装配置 然后scp安装包给其他机器。
      
      #step5:解压安装包到当前路径下
      tar -zxvf jdk-8u65-linux-x64.tar.gz
      
      #step6:配置jdk的环境变量
      vim /etc/profile
      
      export JAVA_HOME=/export/servers/jdk1.8.0_65
      export PATH=$PATH:$JAVA_HOME/bin
      export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
      
      #step7:使用source命令加载环境变量文件  让其立即生效  也可以重启生效
      source /etc/profile
      
      #step8:把jdk安装包从node-1 scp给其他机器
      scp -r /export/servers/jdk1.8.0_65/ root@node-2:/export/servers/
      scp -r /export/servers/jdk1.8.0_65/ root@node-3:/export/servers/
      
      #step9:别忘了其他机器上也需要配置jdk的环境变量
      scp /etc/profile root@node-2:/etc/
      source /etc/profile
      
      #最终验证是否安装成功
      [root@node-2 servers]# java -version
      java version "1.8.0_65"
      Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
      Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
      [root@node-2 servers]#
      
    • mysql(在node-1上安装)

      用户名:root 密码:hadoop

      #在线安装mysql
      yum install -y mysql mysql-server mysql-devel 
      
      #首次启动mysql
      /etc/init.d/mysqld start
      
      #登录mysql的控制台 初始化设置root用户的密码 授予远程登录的权限
      mysql
      
      mysql>; USE mysql; 
      
      mysql>; UPDATE user SET Password=PASSWORD('hadoop') WHERE user='root';
      
      mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'hadoop' WITH GRANT OPTION;
      
      mysql>; FLUSH PRIVILEGES; 
      
      #以后mysql的启动关闭 使用下述命令
      service mysqld  start|stop|status
      
      #建议:把mysqld服务设置为开机自启动
      chkconfig mysqld on
      
      #在大数据中 不需要特意把mysql的编码改为utf-8 后面涉及软件  谁需要中文支持 给其创建对应的数据库 支持utf-8
      

    rpm、yum

    • rpm

      • rpm是RH 包管理器 负责软件的 查看安装卸载。

      • 最大的弊端:先下载rpm包 手动安装。 需要自己解决软件之间的依赖关系。

        如果某个软件有依赖 需要先把依赖安装好 再安装本软件。
        
      • 企业中很少使用该方法进行软件安装。 推荐使用yum在线安装。

      • 使用命令

        #查看rpm包的安装信息
        rpm -qa |grep 软件名称
        rpm -qi rpm包名
        [root@node-1 ~]# rpm -qi mysql-server-5.1.73-8.el6_8.x86_64
        
        #rpm的安装
        rpm -ivh rpm包名
        
        #rpm的卸载  忽略依赖卸载 只卸载自己本身
        rpm -e --nodeps rpm包名
        
    • yum

      • 介绍

        Yum(全称为 Yellow dog Updater, Modified)是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理,能够从指定的服务器自动下载RPM包并且安装,可以自动处理依赖性关系,并且一次安装所有依赖的软件包,无须繁琐地一次次下载、安装。
        
      • 优点:自动安装 解决依赖

      • 如何实现该功能?

        #yum是否强大取决于yum源。
        	1、有很多rpm包
        	2、rpm包之间的依赖
        #yum源分类
        	1、公网免费开源的yum源。 不需要配置  Centos中内置了yum源镜像列表。 联网就可以搜索到国内免费yum源。  断网就凉凉。
        	2、自己配置本地yum源。
        
      • yum命令

        #安装软件
        yum install -y 软件名 #-y表示不提示自动直接安装
        
        #其他命令
        yum remove -y 软件名 #卸载
        yum repolist all  #查看当前可用的yum源信息
        yum clean all #清楚yum缓存信息
        
    • 制作本地yum源(听懂原理即可 可以自己不搭建

      • 需要原材料:rpm包、rpm包之间的依赖

      • 在CentOS的安装镜像中

        • 有包----->packages
        • 有包的依赖---->repodata

        可以使用镜像文件临时制作本地yum源。

      #创建一个文件夹 用于存放rpm包和依赖
      mkdir /dev/centios     #挂载路径 用于解析光驱中的数据
      mkdir /mnt/local_yum   #本地yum源的文件夹
      
      #挂载光驱中的镜像文件 挂载到/dev/centios
      mount -o loop  /dev/cdrom /dev/centios  
      
      #把挂载之后的文件复制到本地yum源文件中
      cp -r /dev/centios/* /mnt/local_yum/
      
      #修改yum的配置文件
      cd /etc/yum.repos.d/    #在这个路径下 所有.repo结尾的文件都是yum有效配置文件 里面记录了yum源地址
      rename .repo .repo.bak    *.repo
      cp CentOS-Media.repo.bak CentOS-Local.repo
      
      vim  CentOS-Local.repo
      
      [local]
      name=this is my local yum yuan
      baseurl=file:///mnt/local_yum/
      gpgcheck=1
      enabled=1
      gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
      

      注意:练习完之后 前往不要忘了把网络yum源的配置恢复复原。

       rename .repo.bak .repo  *.bak
      
    • 扩展:制作本地局域网yum源

      • 核心:在一台机器上制作yum源 只能满足这一台机器的需求。局域网中其他的机器依然需要联网才能使用。 使用一台web服务器把本地yum源通过http协议暴露出来 让局域网中其他机器也可以访问。
      #安装web服务器  httpd(Apache Server 轻量级web服务器)  注意把防火墙关了
      yum install -y httpd
      
      #启动
      service httpd start
      
      #httpd 项目根目录/var/www/html
      ln -s /mnt/local_yum/  /var/www/html/local
      
      
      #在其他的机器上配置的yum文件
      [local]
      name=this is my local yum yuan
      baseurl=http://node-2/local/
      gpgcheck=1
      enabled=1
      gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
      
    • 虚拟机新增磁盘(了解)

      软件右键选择增加一个新的磁盘  确定大小
      分区
      格式化
      挂载
      
      详细步骤可以参考附件资料。
      
    • crontab 定时调度

      • 是linux小工具 定时周期帮我们去执行指定的shell脚本。
      #语法
      crontab 
      	-e  编辑定时任务
      	-l  查看定时任务
      	-r  删除定时任务
      	-u  指定给哪个用户配置  如果不指定 给自己配置
      	
      [root@node-1 ~]# crontab -l
      no crontab for root	   #当前root用户没有定时任务
      
      *  *   *  *  *   shell command
      分 时  日 月  周   待调度的shell命令或脚本  
      
      * * * * * date >> /root/cron.txt  #每隔一分钟执行后面的脚本或者命令
      
      • 大数据项目中 必然会涉及到定时调度任务。 通常使用成熟的开源的调度软件进行任务调度。
      Apache oozie、 azkaban
      

    展开全文
  • Linux集群搭建

    2021-04-04 09:50:23
    集群搭建 关闭linux服务 右键虚拟机-管理-克隆 下一步 下一步 选择完整克隆-下一步 填写虚拟机名称 先择虚拟机安装位置(最好和第一台路径一样) 点击完成 等待克隆完成 完成关闭 现在第二台虚拟机已经克隆...

    前面我们已经搭建好了一台linux服务,所以不用在重复搭建了,直接进行克隆。
    集群搭建
    关闭linux服务
    在这里插入图片描述
    右键虚拟机-管理-克隆
    在这里插入图片描述
    下一步
    在这里插入图片描述
    下一步
    在这里插入图片描述
    选择完整克隆-下一步
    在这里插入图片描述
    填写虚拟机名称
    先择虚拟机安装位置(最好和第一台路径一样)
    点击完成
    在这里插入图片描述
    等待克隆完成
    在这里插入图片描述
    完成关闭
    在这里插入图片描述
    现在第二台虚拟机已经克隆好了
    在这里插入图片描述
    重复刚才的步骤,在第一台基础上再克隆第三台虚拟机server_3

    在这里插入图片描述
    修改虚拟机配置
    因为本人电脑是8G内存的,三台加起来都占了6G内存,影响计算机性能,所以将从机的内存更改为1G(如果计算机内存是16G或者32G就不需要进行操作了)
    server_1作为主机,server_2/server_3作为从机,将server_2/server_3的内存设置为1G。
    选择server_2点击编辑虚拟机设置
    在这里插入图片描述
    选择内存,将内存设置1024MB
    在这里插入图片描述
    server_3重复此操作即可。
    修改虚拟机唯一的配置
    现在从机server_2/server_3的环境就和server_1的环境一模一样了(关闭了防火墙、时间同步、jdk环境)。
    但是server_2/server_3的IP地址、虚拟机唯一编号UUID、hostname都是一样的,所以接下来需要修改从机的IP地址设备信息主机名称等配置。

    1、修改主机名称
    开启server_2/server_3两台虚拟机登录

    # 修改主机名称
    vi /etc/hostname
    

    改为server_2,按Esc输入:wq保存并退出(主机名修改重启生效)
    在这里插入图片描述
    2、修改IP地址

    cd /etc/sysconfig/network-scripts/
    vi ifcfg-ens33
    

    删除UUID这一行(下次启动时它自己会重新生成一个),修改IP地址为192.168.2.129
    在这里插入图片描述
    保存并退出
    在这里插入图片描述
    追加映射关系,把三台的信息都添加上去,如果第一台server_1没加的也加上

    vi /etc/hosts
    

    在这里插入图片描述
    C:\Windows\System32\drivers\etc下,hosts文件如果没加入对应的映射需要加入
    在这里插入图片描述
    server_3重复操作即可。
    现在配置完成,本地windows下用cmd窗口ping一下试试看看有没有通。
    在这里插入图片描述
    可以ping通说明集群搭建ok

    展开全文
  • linux集群环境搭建

    2021-02-01 16:37:40
    , 接下来我们尝试一下 #在node01中输入 ssh node02 ssh node03 #在node02中输入 ssh node01 ssh node03 #在node03中输入 ssh node01 ssh node02 配置三台虚拟机时钟同步 通过网络,所有主机和时钟同步服务器保持同步...

    首先我们需要对VMware进行些许设置

    1. 启动VMware中所有的服务全部开启
    2. 查看VMware的网关地址
      在这里插入图片描述
      在这里插入图片描述
    3. 设置VmNet8网卡的dns和ip在VMware网关的网段内
      在这里插入图片描述

    在这里插入图片描述

    1. 安装虚拟机
      安装3台虚拟机
    2. 配置虚拟机内存
      计算公式:
      每 台 机 器 的 内 存 = ( 总 内 存 − 4 ) ÷ 3 每台机器的内存 = \left ( 总内存 - 4\right ) \div 3 =(4)÷3

    在这里插入图片描述

    1. 设置ip地址和mac地址

    在这里插入图片描述

    vim /etc/udev/rules.d/70-persistent-net.rules
    

    在这里插入图片描述

    vim /etc/sysconfig/network-scripts/ifcfg-eth0
    

    在这里插入图片描述

    1. 重启reboot
    2. 重启后我们登录使用idconfig查看ip地址 , 并且使用ping命令试试能否ping通外网
    3. 修改对应主机名
    vim /ect/sysconfig/network
    
    1. 修改IP地址和主机名的映射
    vim /etc/hosts
    

    在每个虚拟机的hosts目录中加入以下三行
    在这里插入图片描述

    1. 重启虚拟机
    2. 关闭防火墙
    service iptables stop   #关闭防火墙
    chkconfig iptables off  #禁止开机启动
    
    1. 关闭selinux
    vim /etc/selinux/config
    

    在这里插入图片描述

    1. 配置虚拟机免密登录
      三台机器全部输入以下命令生成公钥和私钥
    ssh-keygen -t rsa
    

    一路回车就可以
    在这里插入图片描述
    生成的公钥和私钥存放在以下目录

    /root/.ssh/
    

    拷贝公钥到一台机器

    ssh-copy-id node01
    # 输入yes回车
    # 输入node01的密码回车
    

    在这里插入图片描述

    scp /root/.ssh/authorized_keys node02:/root/.ssh
    scp /root/.ssh/authorized_keys node03:/root/.ssh
    

    在这里插入图片描述

    此时的免密登录我们就设置成功了 , 接下来我们尝试一下

    #在node01中输入
    ssh node02
    ssh node03
    
    #在node02中输入
    ssh node01
    ssh node03
    
    
    #在node03中输入
    ssh node01
    ssh node02
    
    1. 配置三台虚拟机时钟同步

    通过网络,所有主机和时钟同步服务器保持同步

    # 安装
    yum install -y ntp
    
    ## 启动定时任务
    crontab -e
    
    ## 打开的编辑器中输入以下
    */1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
    
    

    执行yum后可能会产生如下报错

    Loaded plugins: fastestmirror, security
    Setting up Install Process
    YumRepo Error: All mirror URLs are not using ftp, http[s] or file.
     Eg. Invalid release/repo/arch combination/
    removing mirrorlist with no valid mirrors: /var/cache/yum/x86_64/6/base/mirrorlist.txt
    Error: Cannot retrieve repository metadata (repomd.xml) for repository: base. Please verify its path and try again
    

    此时我们需要通过以下的命令修复yum , 使其不报错

    sed -i "s|enabled=1|enabled=0|g" /etc/yum/pluginconf.d/fastestmirror.conf
    mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
    curl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpan.com/Centos-6-Vault-Aliyun.repo 
    yum clean all
    yum makecache
    

    在这里插入图片描述

    安装jdk

    三台全部安装

    1. 删除原有的oppenJDK
    rpm -qa | grep java
    rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64 --nodeps
    
    1. 创建两个目录
    mkdir -p /export/softwares   #  软件包存放目录
    mkdir -p /export/servers     #  软件安装目录
    
    1. 上传并 解压
    #上传jdk到/export/softwares路径下去,并解压
    tar -zxvf jdk-8u11-linux-x64.tar.gz -C ../servers/
    
    1. 配置环境变量
    vim /etc/profile
    
    1. 添加如下内容
    export JAVA_HOME=/export/servers/jdk1.8.0_11
    export PATH=:$JAVA_HOME/bin:$PATH
    
    1. 使环境变量生效
    source /etc/profile
    

    安装mysql

    我们使用的是在线安装
    选择三台中的其中一台安装mysql就可以

    # 在线安装mysql相关的软件包
    yum  install  mysql  mysql-server  mysql-devel
    
    # 启动mysql的服务
    /etc/init.d/mysqld start
    
    # 通过mysql安装自带脚本进行设置
    /usr/bin/mysql_secure_installation
    # 这步完了 , 我们需要以下操作
    先回车
    y
    123456
    123456
    y
    n
    n
    y
    

    在这里插入图片描述
    在这里插入图片描述

    # 进入mysql的客户端然后进行授权
    mysql -u root -p123456
    
    grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
    
    flush privileges;
    
    展开全文
  • 前期准备1.1 Win7官网下载spark包本文使用版本spark-1.6.2-bin-hadoop2.6.tgz1.2 配置jdkhadoop-2.6.5:hadoop分布式集群搭建1.3 centos7集群服务器主机名 系统 IP地址master centos7 192.168.32.128slave01 centos7 ...

    一.前期准备

    1.1 Win7官网下载spark包

    本文使用版本spark-1.6.2-bin-hadoop2.6.tgz

    1.2 配置jdk

    hadoop-2.6.5:hadoop分布式集群搭建

    1.3 centos7集群服务器

    主机名    系统          IP地址

    master    centos7    192.168.32.128

    slave01   centos7    192.168.32.131

    slave02   centos7     192.168.32.132

    二.spark完全分布式集群搭建

    以下操作只针对master主机服务器,其他主机服务器类似。

    2.1 上传spark包至 /opt/software目录

    2.2 解压和拷贝spark至 /usr/local/spark

    cd /opt/software

    tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz

    cp -r spark-1.6.2-bin-hadoop2.6 /usr/local/spark

    08cc38be027e

    spark解压和拷贝

    spark解压和拷贝完成

    三.spark完全分布式集群配置

    3.1 系统文件profile配置

    配置系统环境变量

    vi /etc/profile

    08cc38be027e

    系统环境配置

    退出保存,重启配置

    source /etc/profile

    3.2 文件配置

    定位:cd /usr/local/spark/conf

    默认:

    log4j.properties.template,spark-env.sh.template,slaves.template,spark-defaults.conf.template

    复制:

    log4j.properties,spark-env.sh,slaves,spark-defaults.conf

    08cc38be027e

    配置文件生成

    3.3 修改spark-env.sh文件

    vi spark-env.sh

    export JAVA_HOME=/usr/local/jdk

    export SCALA_HOME=/usr/local/scala

    export HADOOP_HOME=/usr/local/hadoop

    export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

    export SPARK_MASTER_IP=master

    export SPARK_WORKER_MEMORY=1G

    export SPARK_EXECUTOR_MEMORY=1G

    export SPARK_DRIVER_MEMORY=1G

    export SPARK_WORKER_CORES=6

    08cc38be027e

    spark-env.sh文件

    3.4 修改spark-defaults.conf文件

    vi spark-defaults.conf

    spark.eventLog.enabled          true

    spark.eventLog.dir              hdfs://master:9000/historyserverforSpark

    spark.executor.extraJavaOptions  -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

    spark.yarn.historyServer.address  master:18080

    spark.history.fs.logDirectory      hdfs://master:9000/historyserverforSpark

    08cc38be027e

    spark-defaults.conf文件

    3.5 修改slaves文件

    vi slaves

    master

    slave01

    slave02

    08cc38be027e

    slaves文件

    3.6 hadoop新建historyserverforSpark目录

    #新建historyserverforSpark目录

    hadoop fs -mkdir /historyserverforSpark

    #查看目录

    hadoop fs -ls /

    08cc38be027e

    目录新建和查看

    3.7 slave01和slave02服务器修改

    3.7.1 spark文件复制

    复制master中spark文件到slave01和slave02服务器的/usr/local目录

    scp -r /usr/local/sparkroot@slave01:/usr/local/spark

    scp -r /usr/local/sparkroot@slave012:/usr/local/spark

    3.7.2  系统环境profile配置

    类似3.1 分别在salve01和slave02配置系统环境

    四.spark集群测试

    4.1 测试命令

    #启动

    start-all.sh start

    #停止

    stop-all.sh start

    4.2 集群测试

    在master服务器运行启动命令

    进入/usr/local/spark目录

    4.2.1 启动各个节点

    sbin/start-all.sh start

    08cc38be027e

    启动节点

    4.2.2 启动start-history-server

    sbin/start-history-server.sh

    08cc38be027e

    history启动

    4.2.3 查看节点状态

    jps查看节点进程

    08cc38be027e

    master进程

    08cc38be027e

    slave进程

    4.2.4 web端验证是否启动成功

    通过web端的18080端口查看是否启动成功

    http://192.168.32.128:18080

    08cc38be027e

    验证启动

    4.2.5 通过spark-submit命令运行jar包

    bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://192.168.32.128:7077 lib/spark-examples-1.6.2-hadoop2.6.0.jar 10

    08cc38be027e

    spark-submit测试

    08cc38be027e

    spark应用管理

    08cc38be027e

    history-server

    至此,spark完成分布式集群搭建完毕。

    展开全文
  • 负载均衡集群,需要有一台服务器作为分发器,它负责把用户的请求分发给后端的服务器处理,在这个集群里,除了分发器外,就是给用户提供服务的服务器,这些服务器数量至少为2;实现负载均衡的开...
  • 在/usr/local/redis-5.0.5/ 目录下每个主机新建redis6601.conf文件 cd /usr/local/redis-5.0.5 touch redis6601.conf 在第一台服务器192.168.31.201配置redis6601.conf文件 include /usr/local/redis-5.0.5/redis....
  • 前期准备1.1 Win7官网下载spark包本文使用版本spark-1.6.2-bin-hadoop2.6.tgz1.2 配置jdkhadoop-2.6.5:hadoop分布式集群搭建1.3 centos7集群服务器主机名 系统 IP地址master centos7 192.168.32.128slave01 centos7 ...
  • 1.1 WebLogic受管服务器域的创建配置第二个服务器节点服务的域。安装步骤都是一样的,在这直接开始创建域的操作。1. 进入刚刚创建的WebLogic安装目录如:/root/Oracle/Middleware/wlserver_10.3/common/bin 并执行./...
  • Linux搭建Redis集群 今天开始,我们着手搭建Redis集群,并实现客户端连接并操作Redis集群 1.首先,在开始搭建集群之前,需要注意的是,redis3.0之后才支持集群,但redis3.0-redis5.0之间需要ruby环境的支撑,而redis6....
  • 【1】 HA集群简介1】通过特殊软件把独立的系统(node)连接起来,组成一个能够提供故障切换(Faileover)功能的集群2】Ha集群可以保证在多种故障中,关键服务的可用性、可靠性及数据完整性3】Ha集群主要用于文件服务,...
  • linux集群有什么用

    2021-05-11 07:48:19
    Linux集群的可扩展性集群的可扩展性体现在随时能够满足用户的需求,随着业务量的加大,现有的集群服务实体不能满足需求时,可以向此集群中动态的加入一个或多个服务节点,增强集群的整体性能。这就是集群可扩展性的...
  • Linux服务器源码安装postgresql分布式集群搭建 (一)基础准备 1.1 四台虚拟机 虚拟机名 IP hostname 主从划分 pgpool0 68.68.12.61 node61 主节点 pgpool1 68.68.12.62 node62 从节点1 pgpool2 68.68.12.63 node63 ...
  • Redis 发布的 5.x 系列和5.x之前的版本,进行集群的构建方式有所调整而并不通用。一、基础环境准备1.1 Linux下的C语言编译环境Redis是C语言开发的,安装redis需要C语言的编译环境。如果没有gcc需要在线安装。CentOS:...
  • Linux搭建minio集群

    2021-01-13 13:23:00
    方式一:4台服务器(或虚拟机)搭建minio集群 1.1、 准备4台服务器(或虚拟机),并在对应机器上面创建/data{num}文件夹 192.168.31.128/data0 192.168.31.129/data1 192.168.31.130/data2 192.168.31.131/data3 本...
  • zabbix 是一个基于WEB界面的提供分布式服务器系统监控以及网络监控功能的企业级的开源解决方案。zabbix能监视各种系统参数和网络参数,保证服务器系统的安全运营,并提供灵活的通知机制以让系统管理员快速定位/解决...
  • Linux公网、云服务器搭建K8s集群

    千次阅读 热门讨论 2021-02-08 10:42:24
    解决公网环境节点间无法互通问题 内、公网配置差异总结 Rancher安装 参考链接 前言 本文讲述在Linux公网、云服务器搭建K8s集群详细步骤,解决搭建过程中的问题。 脚本基本可以不修改直接使用。 准备工作 需要Linux ...
  • Linux环境下搭建RabbitMQ集群 前期准备 1、在VMware上创建两个CentOS7虚拟机 2、在CentOS中分别安装好RabbitMQ,并能成功运行,访问到管理界面 搭建集群 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了...
  • 集群概述:MySQL 复制技术,通过集群实现负载均衡,解决高并发,高可用HA提升服务可用性,还可以远程灾备,保证数据有效性 原理 解释: 在主库上把数据更改(DDL DML DCL)记录到二进制日志(Binary Log)中。 备...
  • 一台云服务器怎么搭建集群 内容精选换一换共享云硬盘是一种支持多个云服务器并发读写访问的数据块级存储设备,具备多挂载点、高并发性、高性能、高可靠性等特点。主要应用于需要支持集群、HA(High Available,指高...
  • linux搭建redis集群

    千次阅读 2021-11-19 13:40:14
    高可伸缩性:服务器集群具有很强的可伸缩性。随着需求和负荷的增长,可以向集群系统添加更多的服务器。在这样的配置中,可以有多台服务器执行相同的应用和数据库操作。 高可用性:高可用性是指,在不需要操作者干预...
  • Linux之ES集群搭建

    2021-06-18 15:46:06
    在单台ES服务器节点上,随着业务量的发展索引文件慢慢增多,会影响到效率和内存存储问题等。我们可以采用ES集群,将单个索引的分片到多个不同分布式物理机器上存储,从而可以实现高可用、容错性等。Elasticsearch...
  • MySQL分布式集群搭建

    2021-02-01 08:31:25
    1、准备集群搭建环境使用6台虚拟机来搭建MySQL集群,相应的实验环境与对应的MYSQL节点之间的对应关系如下图所示:节点名称节点IP节点内存节点硬盘大小节点CPUMYSQL节点角色Ubuntu-1192.168.1.26768M20G30%管理节点...
  • 其中三个作为主节点,另外三个作为从节点,由于没有搭建很多虚拟机器,所以本次实践就在一台虚拟机上通过开通6个端口进行搭建redis集群,其实效果是一样的最终目的是了解redis集群搭建^_^。 一、首先需要创建6个...
  • PAGE 1PAGE I材 料 清 单一、毕业论文二、毕业设计任务书三、毕业设计开题申请表四、毕业设计开题报告正文五、专业译文声 明本人XXX,学系襄樊学院数学与计算机科学学院计算机科学与...学生签名:年 月 日Linux集群...
  • 前期准备准备两台Linux,一主,一从,具体Linux安装MySQL操作步骤:点我直达集群搭建注意事项一主可以多从一从只能一主Linux之间要能ping通!!关闭主从机器的防火墙策略chkconfig iptables offservice iptables ...
  • linux 搭建 p2p 服务器

    2021-08-10 08:44:24
    linux 搭建 p2p 服务器 内容精选换一换简要介绍React(有时叫“React.js”或ReactJS)是一个为数据提供渲染为HTML视图的开源JavaScript库。语言:Ruby一句话描述:React是一个JavaScript库建议的版本建议使用版本为...
  • Linux查看执行过的定时任务tail -f /var/log/cron查看已经执行过的任务,看 /var/log/cron这个文件就可以,所以直接用tail -f /var/log/cron命令观察文件最新动态即可。Linux任务日志查看命令tail的使用tail -f app....
  • 文件服务器搭建

    2021-05-10 16:09:49
    前言在我们下载一些开发软件时,常常可以看到如图的网页形式,事实上访问的就是文件服务器,我们将使用vsftpd + Nginx在Linux搭建一个简单的文件服务器为什么要使用文件服务器?主要用于服务器集群架构中,比如...
  • 实际上如今我们不论是不是服务器运维高手,基本上已经不在乎你用什么WEB环境部署。以前我们可能较多的会偏向...在这篇文章中,老蒋就简单且有效率的梳理Linux服务器搭建宝塔面板客户端。第一、一键宝塔面板安装要求1...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 65,193
精华内容 26,077
关键字:

linux集群服务器搭建

linux 订阅