精华内容
下载资源
问答
  • 安装时,在license file 选项中,选中nodelocked-license.dat文件即可。如果是客户-服务器模式,选floating-license.date
  • license文件

    2018-11-05 10:14:30
    at com.android.okhttp.internal.http.HttpConnection.readResponse(HttpConnection.java:191) at com.android.okhttp.internal.http.HttpTransport.readResponseHeaders(HttpTransport.java:80) ...
  • lattice的isplever和diamond的license文件

    热门讨论 2012-11-04 22:28:09
    lattice的isplever和diamond的license文件
  • AD10.1181.24817的破解及license文件

    热门讨论 2013-05-19 09:23:57
    AD10 1181 24817 破解 license,其它AD10版本的破解是无法成功的。
  • ad10破解文件LICENSE

    2018-02-27 12:48:54
    ad17破解文件LICENSE,ad17破解文件LICENSE,ad17破解文件LICENSE
  • altium designer 09破解补丁 license文件

    热门讨论 2011-05-22 20:40:20
    生成注册文件ht.alf后,altium designer 09就可以正常使用了
  • hadoop单机版的安装 通过shell拖到home目录下 解压到usr local目录下 进入目录 查看是否解压出来 有 然后查看hadoop目录 bin目录 二进制目录 可执行文件都是 binary etc目录 软件配置目录 etc下面...

    在这里插入图片描述
    官网的内容http://hadoop.apache.org/
    Welcome to Apache™ Hadoop®!
    What Is Apache Hadoop?
    The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.
    灵活的 可扩展的 分布式计算的软件或者平台 开源的
    The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver high-availability, the library itself is designed to detect and handle failures at the application layer, so delivering a highly-available service on top of a cluster of computers, each of which may be prone to failures.

    The project includes these modules:

    Hadoop Common: The common utilities that support the other Hadoop modules.
    Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.
    Hadoop YARN: A framework for job scheduling and cluster resource management.
    Hadoop MapReduce: A YARN-based system for parallel processing of large data sets.
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述


    hadoop单机版的安装
    通过shell拖到home目录下
    解压到usr local目录下

    在这里插入图片描述
    在这里插入图片描述
    进入目录 查看是否解压出来
    在这里插入图片描述
    有 然后查看hadoop目录
    在这里插入图片描述
    bin目录 二进制目录 可执行文件都是 binary
    在这里插入图片描述
    etc目录 软件配置目录
    etc下面还有一层hadoop
    这个目录下面基本全是配置文件
    里面有六七个今后经常用的文件
    在这里插入图片描述
    还有included lib libexec
    基本都是hadoop的一些库和扩展性文件
    在这里插入图片描述
    license notice readme 是软件发行都会有的必备的东西
    在这里插入图片描述
    sbin下面也是一些可执行的命令
    只不过这些命令是用来启停hadoop服务的
    也有好几个常用的
    在这里插入图片描述
    share下面是dos学习文档 使用说明书
    hadoop里面是一些测试jar包 还有源码
    在这里插入图片描述
    在这里插入图片描述
    目录先说这么多

    解压过后 就算安装好了
    不过还有一步
    要配置环境变量
    vi /etc/profile
    shift + G
    到最后一行
    按o换行
    HADOOP_HOME=/usr/local/hadoop-2.7.1/
    :cd /usr/local/hadoop-2.7.1/ 这一句是tab键补出来 为了填上面那一句的
    用完删掉
    然后PATH后面追加 H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPHOME/bin:HADOOP_HOME/sbin:
    在这里插入图片描述
    配置好了还没生效 source /etc/profile/即可生效
    在这里插入图片描述
    但不知道为什么 我的source命令不能用
    但是hadoop环境变量是可以的了
    在这里插入图片描述
    然后我们看hadoop version
    在这里插入图片描述
    表示我们还没有配这个JAVA环境变量
    我们来配
    vi ./etc/hadoop/hadoop-env.sh
    找到JAVA_HOME 换成我们java的目录
    在这里插入图片描述
    保存 退出
    再试一次hadoop version
    在这里插入图片描述
    这样就没问题了
    总结一下
    hadoop单机版的安装
    在这里插入图片描述
    下面我们举个例子

      $ mkdir input
      $ cp etc/hadoop/*.xml input
      $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output 'dfs[a-z.]+'
      $ cat output/*
    

    官网上的单机版的例子
    在这里插入图片描述
    创建一个目录input
    然后把 etc/hadoop/这个目录下的所有的.xml文件复制到该目录下
    然后去计算每一个文件里面每一个单词出现的次数
    在这里插入图片描述
    这有8个文件
    命令
    hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /home/input/ /home/outout

    注意 这个output文件不能先创建

    防止和已有文件内的已有内容掺杂 造成结果不准确
    这是跑的时候出现的内容 不一一解说 以后再说
    在这里插入图片描述
    看结果output
    有两个文件
    其中第二个文件代表本次作业成功
    在这里插入图片描述
    直接使用more /home/output/part-r-00000看详细结果
    在这里插入图片描述
    ok
    hadoop单机版的安装和应用就说到这里


    我们看一下这个根目录下有什么东西
    hdfs dfs -ls /
    在这里插入图片描述
    所以
    我们看看HDFS hdfs这个
    hadoop有三大核心 四大模块
    hdfs就是一大模块在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    (一次写入 多次读写)
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    官网上的图
    https://hadoop.apache.org/old/#Getting+Started
    http://hadoop.apache.org/docs/current/
    http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html在这里插入图片描述
    Rack1 Rack2就是机架 每个机架可以安装多台服务器
    hadoop1默认64M一个块
    Hadoop2 128M一个块
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述


    Yarn 在中间这一层 全局资源管理
    是在hadoop2.x之后才有的 1.x时没有
    在这里插入图片描述
    云计算的三层服务
    IaaS 基础设施即服务
    PaaS 平台即服务
    SaaS 软件即服务
    在这里插入图片描述
    全局资源管理 调度任务
    有点像系统了
    Yarn可以说是一个小型系统
    可以说是一个软件
    在云计算这块 Yarn可以说是 平台这一块的
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述


    分布式资源管理框架Yarn

    Yarn的流程介绍

    Job Tracker是Hadoop1里面的
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • CentOS 7部署Hadoop(单机版

    千次阅读 2018-10-03 12:52:44
    Hadoop单机版安装 Hadoop环境变量配置 测试 测试环境 Linux系统版本:CentOS 7 64位 Hadoop版本:hadoop-2.7.3 Java版本:jdk-8u181-linux-x64 Hadoop部署方式介绍 Hadoop部署方式分三种:Standalone Mod...

    目录

    测试环境

    Hadoop部署方式介绍

    安装CentOS 7

    配置Java环境

    Hadoop单机版安装

    Hadoop环境变量配置

    测试


    测试环境

    Linux系统版本:CentOS 7 64位

    Hadoop版本:hadoop-2.7.3

    Java版本:jdk-8u181-linux-x64


    Hadoop部署方式介绍

    Hadoop部署方式分三种:Standalone Mode(单机模式)、Pseudo-Distributed Mode(伪分布式模式)、Fully Distributed Mode(全分布式模式)

    单机模式:

    单机模式是Hadoop的默认模式。这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。


    伪分布模式:

    这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点伪分布模式在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程。

     

    全分布模式:
         Hadoop守护进程运行在一个集群上。

     

    部分内容来自:https://blog.csdn.net/bloodlc/article/details/19973009?utm_source=copy


    安装CentOS 7

    VMware虚拟机安装Linux系统


    配置Java环境

    Linux系统下安装Java环境


    Hadoop单机版安装

    本文的代码框解释:#后面的为执行代码,[]内root为登录用户,@后master100表示主机名,~代表当前目录,按下面步骤执行时要注意自己这些信息和我的是不是一样的

    1、下载Hadoop2.7.3

    hadoop-2.7.3.tar.gz 
    https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/

    2、用root账户登录,创建hadoop用户和hadoop用户组,创建用户的时候会自动创建相应的用户组

    [root@master100 ~]# useradd hadoop
    

    3、创建完用户之后设置一个用户密码,有些密码太简单会提示无效的密码,提示重新输入时再输一遍就可以强制保存了

    [root@master100 ~]# passwd hadoop
    更改用户 hadoop 的密码 。
    新的 密码:
    无效的密码: 密码少于 8 个字符
    重新输入新的 密码:
    passwd:所有的身份验证令牌已经成功更新。
    

    4、为hadoop用户添加sudo权限

    [root@master100 ~]# vi /etc/sudoers

    如下,在root用户下面一行加上hadoop  ALL=(ALL)       ALL,保存并退出(这里需要用wq!强制保存退出)

    ## Next comes the main part: which users can run what software on
    ## which machines (the sudoers file can be shared between multiple
    ## systems).
    ## Syntax:
    ##
    ##      user    MACHINE=COMMANDS
    ##
    ## The COMMANDS section may have other options added to it.
    ##
    ## Allow root to run any commands anywhere
    root    ALL=(ALL)       ALL
    hadoop  ALL=(ALL)       ALL
    

    5、上传第1步下载好的hadoop-2.7.3.tar.gz 包到Linux系统中的/usr/local目录下

    sftp:/root> cd /usr/local
    sftp:/usr/local> 
    Uploading hadoop-2.7.3.tar.gz to remote:/usr/local/hadoop-2.7.3.tar.gz
    sftp: sent 204 MB in 9.38 seconds
    

    6、进入/usr/local目录,解压上传的hadoop安装包

    [root@master100 ~]# cd /usr/local
    [root@master100 local]# tar -zxvf /usr/local/hadoop-2.7.3.tar.gz
    

    7、解压完成后可以看到文件夹hadoop-2.7.3,将文件夹名改为hadoop,如果不在/usr/local目录下,命令使用时请加上文件夹的绝对路径

    [root@master100 local]# ll
    总用量 556412
    drwxr-xr-x. 2 root root         6 4月  11 12:59 bin
    drwxr-xr-x. 2 root root         6 4月  11 12:59 etc
    drwxr-xr-x. 2 root root         6 4月  11 12:59 games
    drwxr-xr-x. 9 root root       149 8月  18 2016 hadoop-2.7.3
    -rw-r--r--. 1 root root 214092195 10月  3 11:43 hadoop-2.7.3.tar.gz
    drwxr-xr-x. 2 root root         6 4月  11 12:59 include
    -rwxr-xr-x. 1 root root 170023183 10月  2 17:28 jdk-8u181-linux-x64.rpm
    -rw-r--r--. 1 root root 185646832 10月  2 16:31 jdk-8u181-linux-x64.tar.gz
    drwxr-xr-x. 2 root root         6 4月  11 12:59 lib
    drwxr-xr-x. 2 root root         6 4月  11 12:59 lib64
    drwxr-xr-x. 2 root root         6 4月  11 12:59 libexec
    drwxr-xr-x. 2 root root         6 4月  11 12:59 sbin
    drwxr-xr-x. 5 root root        49 10月  2 13:00 share
    drwxr-xr-x. 2 root root         6 4月  11 12:59 src
    
    [root@master100 local]# mv hadoop-2.7.3 hadoop
    [root@master100 local]# ll
    总用量 556412
    drwxr-xr-x. 2 root root         6 4月  11 12:59 bin
    drwxr-xr-x. 2 root root         6 4月  11 12:59 etc
    drwxr-xr-x. 2 root root         6 4月  11 12:59 games
    drwxr-xr-x. 9 root root       149 8月  18 2016 hadoop
    -rw-r--r--. 1 root root 214092195 10月  3 11:43 hadoop-2.7.3.tar.gz
    drwxr-xr-x. 2 root root         6 4月  11 12:59 include
    -rwxr-xr-x. 1 root root 170023183 10月  2 17:28 jdk-8u181-linux-x64.rpm
    -rw-r--r--. 1 root root 185646832 10月  2 16:31 jdk-8u181-linux-x64.tar.gz
    drwxr-xr-x. 2 root root         6 4月  11 12:59 lib
    drwxr-xr-x. 2 root root         6 4月  11 12:59 lib64
    drwxr-xr-x. 2 root root         6 4月  11 12:59 libexec
    drwxr-xr-x. 2 root root         6 4月  11 12:59 sbin
    drwxr-xr-x. 5 root root        49 10月  2 13:00 share
    drwxr-xr-x. 2 root root         6 4月  11 12:59 src
    

    8、将hadoop文件夹的主:组设置成hadoop

    [root@master100 local]# chown -R hadoop:hadoop hadoop
    [root@master100 local]# ll
    总用量 556412
    drwxr-xr-x. 2 root   root           6 4月  11 12:59 bin
    drwxr-xr-x. 2 root   root           6 4月  11 12:59 etc
    drwxr-xr-x. 2 root   root           6 4月  11 12:59 games
    drwxr-xr-x. 9 hadoop hadoop       149 8月  18 2016 hadoop
    -rw-r--r--. 1 root   root   214092195 10月  3 11:43 hadoop-2.7.3.tar.gz
    drwxr-xr-x. 2 root   root           6 4月  11 12:59 include
    -rwxr-xr-x. 1 root   root   170023183 10月  2 17:28 jdk-8u181-linux-x64.rpm
    -rw-r--r--. 1 root   root   185646832 10月  2 16:31 jdk-8u181-linux-x64.tar.gz
    drwxr-xr-x. 2 root   root           6 4月  11 12:59 lib
    drwxr-xr-x. 2 root   root           6 4月  11 12:59 lib64
    drwxr-xr-x. 2 root   root           6 4月  11 12:59 libexec
    drwxr-xr-x. 2 root   root           6 4月  11 12:59 sbin
    drwxr-xr-x. 5 root   root          49 10月  2 13:00 share
    drwxr-xr-x. 2 root   root           6 4月  11 12:59 src
    

    9、/usr目录与/usr/local目录所属主:组均为root,默认权限为755,也就是说其他用户(hadoop)没有写入(w)权限,在这里我们需要将这两个目录其他用户的权限设置为7。在这里将hadoop用户加入root组,然后将文件夹权限设置为775

    ###############################
    #chmod 757 /usr
    #chmod 757 /usr/local
    ###############################
     
    使用下面代码:
     
    gpasswd -a hadoop root
    chmod 771 /usr
    chmod 771 /usr/local
    

    可以看到执行情况如下: 

    [root@master100 local]# cd /
    [root@master100 /]# chmod 757 /usr
    [root@master100 /]# ll
    总用量 16
    lrwxrwxrwx.   1 root root    7 10月  2 13:00 bin -> usr/bin
    dr-xr-xr-x.   5 root root 4096 10月  2 13:06 boot
    drwxr-xr-x.  20 root root 3240 10月  3 11:47 dev
    drwxr-xr-x.  76 root root 8192 10月  3 11:47 etc
    drwxr-xr-x.   3 root root   20 10月  3 10:58 home
    lrwxrwxrwx.   1 root root    7 10月  2 13:00 lib -> usr/lib
    lrwxrwxrwx.   1 root root    9 10月  2 13:00 lib64 -> usr/lib64
    drwxr-xr-x.   2 root root    6 4月  11 12:59 media
    drwxr-xr-x.   2 root root    6 4月  11 12:59 mnt
    drwxr-xr-x.   2 root root    6 4月  11 12:59 opt
    dr-xr-xr-x. 133 root root    0 10月  3 11:46 proc
    dr-xr-x---.   3 root root  160 10月  3 11:50 root
    drwxr-xr-x.  24 root root  720 10月  3 11:47 run
    lrwxrwxrwx.   1 root root    8 10月  2 13:00 sbin -> usr/sbin
    drwxr-xr-x.   2 root root    6 4月  11 12:59 srv
    dr-xr-xr-x.  13 root root    0 10月  3 11:47 sys
    drwxrwxrwt.  10 root root  253 10月  3 11:47 tmp
    drwxr-xrwx.  14 root root  167 10月  2 17:57 usr
    drwxr-xr-x.  19 root root  267 10月  2 13:08 var
    [root@master100 /]# chmod 757 /usr/local
    [root@master100 /]# cd /usr
    [root@master100 usr]# ll
    总用量 104
    dr-xr-xr-x.  2 root root 24576 10月  2 17:57 bin
    drwxr-xr-x.  2 root root     6 4月  11 12:59 etc
    drwxr-xr-x.  2 root root     6 4月  11 12:59 games
    drwxr-xr-x.  3 root root    23 10月  2 13:01 include
    drwxr-xr-x.  3 root root    61 10月  2 17:57 java
    dr-xr-xr-x. 27 root root  4096 10月  2 13:02 lib
    dr-xr-xr-x. 37 root root 20480 10月  2 13:02 lib64
    drwxr-xr-x. 20 root root  4096 10月  2 13:02 libexec
    drwxr-xrwx. 13 root root   237 10月  3 11:55 local
    dr-xr-xr-x.  2 root root 12288 10月  2 13:02 sbin
    drwxr-xr-x. 75 root root  4096 10月  2 13:02 share
    drwxr-xr-x.  4 root root    34 10月  2 13:00 src
    lrwxrwxrwx.  1 root root    10 10月  2 13:00 tmp -> ../var/tmp
    

    Hadoop环境变量配置

    1、编辑/etc/profile文件

    vi /etc/profile

    2、在末尾加上如下几行

    export HADOOP_HOME=/usr/local/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    

    这里注意HADOOP_HOME与PATH的顺序,我这里最后几行的配置如下:

    export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
    export HADOOP_HOME=/usr/local/hadoop
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export JRE_HOME=$JAVA_HOME/jre
    

    3、配置完环境变量之后保存退出,让环境变量立即生效

    source /etc/profile
    

    测试

    环境变量测试

    输入如下命令:

    hadoop
    hadoop version

    效果如下: 

    [root@master100 usr]# hadoop
    Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
      CLASSNAME            run the class named CLASSNAME
     or
      where COMMAND is one of:
      fs                   run a generic filesystem user client
      version              print the version
      jar <jar>            run a jar file
                           note: please use "yarn jar" to launch
                                 YARN applications, not this command.
      checknative [-a|-h]  check native hadoop and compression libraries availability
      distcp <srcurl> <desturl> copy file or directories recursively
      archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
      classpath            prints the class path needed to get the
      credential           interact with credential providers
                           Hadoop jar and the required libraries
      daemonlog            get/set the log level for each daemon
      trace                view and modify Hadoop tracing settings
    
    Most commands print help when invoked w/o parameters.
    [root@master100 usr]# hadoop version
    Hadoop 2.7.3
    Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff
    Compiled by root on 2016-08-18T01:41Z
    Compiled with protoc 2.5.0
    From source with checksum 2e4ce5f957ea4db193bce3734ff29ff4
    This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-2.7.3.jar
    

    演示Hadoop自带的MapReduce例子

    在这里用hadoop账户登录系统进行测试

    Xshell 6 (Build 0095)
    Copyright (c) 2002 NetSarang Computer, Inc. All rights reserved.
    
    Type `help' to learn how to use Xshell prompt.
    [C:\~]$ 
    
    Connecting to 192.168.33.100:22...
    Connection established.
    To escape to local shell, press 'Ctrl+Alt+]'.
    
    WARNING! The remote SSH server rejected X11 forwarding request.
    Last login: Wed Oct  3 11:25:59 2018
    [hadoop@master100 ~]$ 

    Hadoop 默认模式为非分布式模式,无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。
     
    Hadoop 附带了丰富的例子(运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子),包括 wordcount、terasort、join、grep 等。在此我们选择运行 grep 例子,我们将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到 output 文件夹中。

    [hadoop@master100 ~]$ cd /usr/local/hadoop
    
    [hadoop@master100 hadoop]$ ll
    总用量 108
    drwxr-xr-x. 2 hadoop hadoop   194 8月  18 2016 bin
    drwxr-xr-x. 3 hadoop hadoop    20 8月  18 2016 etc
    drwxr-xr-x. 2 hadoop hadoop   106 8月  18 2016 include
    drwxr-xr-x. 3 hadoop hadoop    20 8月  18 2016 lib
    drwxr-xr-x. 2 hadoop hadoop   239 8月  18 2016 libexec
    -rw-r--r--. 1 hadoop hadoop 84854 8月  18 2016 LICENSE.txt
    -rw-r--r--. 1 hadoop hadoop 14978 8月  18 2016 NOTICE.txt
    -rw-r--r--. 1 hadoop hadoop  1366 8月  18 2016 README.txt
    drwxr-xr-x. 2 hadoop hadoop  4096 8月  18 2016 sbin
    drwxr-xr-x. 4 hadoop hadoop    31 8月  18 2016 share
    
    [hadoop@master100 hadoop]$ mkdir ./input
    
    # 将配置文件作为输入文件
    [hadoop@master100 hadoop]$ cp ./etc/hadoop/* ./input
    
    [hadoop@master100 hadoop]$ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ./input ./output 'dfs[a-z.]+'
    
    ...........
    
    #查看运行结果
    [hadoop@master100 hadoop]$ cat ./output/*
    6	dfs.audit.logger
    4	dfs.class
    3	dfs.server.namenode.
    2	dfs.period
    2	dfs.audit.log.maxfilesize
    2	dfs.audit.log.maxbackupindex
    1	dfsmetrics.log
    1	dfsadmin
    1	dfs.servers
    1	dfs.file
    

    更多的MapReduce例子在这里就不一一测试了,有兴趣的可以自己去测试


    相关推荐

    VMware虚拟机安装Linux系统

    Linux系统下安装Java环境

    CentOS 7部署Hadoop(伪分布式)

    CentOS 7部署Hadoop集群(完全分布式)

    CentOS 7部署Hadoop集群(HA高可用集群)

    展开全文
  • 1 单机版(Standalone模式)安装 ZooKeeper官网下载地址:http://zookeeper.apache.org/releases.html#download 如图所示进行操作: 注意一点,如果不想当小白鼠,请务必下稳定版(stable release),非稳定版安装...

    ZooKeeper安装模式主要有3种:

    1. 单机版(Standalone模式)模式:仅有一个ZooKeeper服务
    2. 伪集群模式:单机多个ZooKeeper服务
    3. 集群模式:多机多ZooKeeper服务

    1 单机版(Standalone模式)安装

    ZooKeeper官网下载地址:http://zookeeper.apache.org/releases.html#download

    如图所示进行操作:
    在这里插入图片描述
    注意一点,如果不想当小白鼠,请务必下稳定版(stable release),非稳定版安装时可能出各种未知的异常。
    在这里插入图片描述
    3.4.14版本为例,在Centos系统下进行安装,之前写一些软件的安装教程时,有人留言说希望把安装的步骤尽量详细化,包括安装路径也要带上,做到可以照着教程复制操作。这个要求有点,呵呵,满足你!

    1.1 下载安装包

    输入如下命令:

    wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
    

    如下图:
    在这里插入图片描述

    1.2 解压安装包

    tar -zxvf apache-zookeeper-3.4.14.tar.gz
    

    解压完成后,将解压包移动到/usr目录:

     mv apache-zookeeper-3.4.14 /usr/
    

    并将apache-zookeeper-3.4.14重命名为zookeeper-3.4.14。

    至此可以看到ZooKeeper的目录结构如下:

    [root@instance-e5cf5719 zookeeper-3.4.14]# ls
    bin        data             ivy.xml      logs        README.md             zookeeper-3.4.14.jar      zookeeper-3.4.14.jar.sha1  zookeeper-docs  zookeeper-recipes
    build.xml  dist-maven       lib          NOTICE.txt  README_packaging.txt  zookeeper-3.4.14.jar.asc  zookeeper-client           zookeeper-it    zookeeper-server
    conf       ivysettings.xml  LICENSE.txt  pom.xml     src                   zookeeper-3.4.14.jar.md5  zookeeper-contrib          zookeeper-jute
    
    • bin目录——zk的可执行脚本目录,包括zk服务进程,zk客户端,等脚本。其中,.sh是Linux环境下的脚本,.cmd是Windows环境下的脚本。
    • conf目录——配置文件目录。zoo_sample.cfg为样例配置文件,需要修改为自己的名称,一般为zoo.cfg。log4j.properties为日志配置文件。

    1.3 设置zoo.cfg

    进入/usr/zookeeper-3.4.14/conf目录,可以看到zoo_sample.cfg,这是样例配置文件,需要修改为自己的,一般命令为zoo.cfg 。

    cp zoo_sample.cfg zoo.cfg
    

    可以看看zoo.cfg文件里的内容:

    # The number of milliseconds of each tick
    tickTime=2000
    # The number of ticks that the initial 
    # synchronization phase can take
    initLimit=10
    # The number of ticks that can pass between 
    # sending a request and getting an acknowledgement
    syncLimit=5
    # the directory where the snapshot is stored.
    # do not use /tmp for storage, /tmp here is just 
    # example sakes.
    dataDir=/tmp/zookeeper
    # the port at which the clients will connect
    clientPort=2181
    # the maximum number of client connections.
    # increase this if you need to handle more clients
    #maxClientCnxns=60
    #
    # Be sure to read the maintenance section of the 
    # administrator guide before turning on autopurge.
    #
    # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
    #
    # The number of snapshots to retain in dataDir
    #autopurge.snapRetainCount=3
    # Purge task interval in hours
    # Set to "0" to disable auto purge feature
    #autopurge.purgeInterval=1
    

    看着好复杂的感觉,其实去掉注释后,就只有几行而已:

    tickTime=2000
    initLimit=10
    syncLimit=5
    dataDir=/tmp/zookeeper
    clientPort=2181
    
    • tickTime=2000 :通俗点叫滴答时间,就是心跳间隔,默认是2000毫秒,即每隔两秒心跳一次。
      • tickTime用于客户端与服务器或服务器与服务器之间维持心跳的时间度量单位,即每隔tickTime会发送一次心跳。
      • 心跳的作用
        • 监听机器的工作状态。
        • 通过心跳来控制follower跟leader的通信时间,默认情况下他们(follower和leader)的会话时长是心跳间隔的两倍,即2 * tickTime。
    • initLimit=10:follower在启动过程中,会从leader同步所有最新数据,然后确定自己能够对外服务的起始状态,leader允许follower在initLimit时间内完成工作。默认值是10,即10*tickTime。默认情况下不需要修改该配置项,随着ZooKeeper集群管理的数量不断增大,follower节点在启动的时候,从leader节点进行数据同步的时间也会相应变长,于是无法在较短的时间内完成数据同步,在这种情况下,需要适当调大这个参数。
    • syncLimit=5leader节点和follower节点进行心跳检测的最大延迟时间。在ZooKeeper集群中,leader节点会与所有的follower节点进行心跳检测来确认节点是否存活。默认值为5,即5*tickTime。
    • dataDir=/tmp/zookeeper:ZooKeeper服务器存储快照文件的默认目录。/tmp目录下的文件可能被自动删除,容易丢失,需要修改存放目录。
    • clientPort=2181: 客户端连接ZooKeeper服务器的端口。ZooKeeper会监听这个端口,接收客户端的访问请求。

    温馨提示:大家一定要学会看官方文档,去接收第一手资料。虽然是英文,但用词和语法都比较简单,很容易看懂。
    官网介绍如下:

    • tickTime : the basic time unit in milliseconds used by ZooKeeper. It is used to do heartbeats and the minimum session timeout will be twice the tickTime.
    • dataDir : the location to store the in-memory database snapshots and, unless specified otherwise, the transaction log of updates to the database.
    • clientPort : the port to listen for client connections

    在zookeeper-3.4.14目录下创建data和logs文件,如下:

    [root@instance-e5cf5719 zookeeper-3.4.14]# mkdir data
    [root@instance-e5cf5719 zookeeper-3.4.14]# mkdir logs
    

    官方文档也有对此进行说明,指出在生产环境中ZooKeeper是会长期运行的,ZooKeeper的存储就需要专门的文件位置进行存储dataDir和logs。data文件夹用于存放内存数据库快照,集群的myid文件也是存放在这个文件夹下。

    For long running production systems ZooKeeper storage must be managed externally (dataDir and logs).

    修改后的zoo.cfg如下:

    # The number of milliseconds of each tick
    tickTime=2000
    # The number of ticks that the initial 
    # synchronization phase can take
    initLimit=10
    # The number of ticks that can pass between 
    # sending a request and getting an acknowledgement
    syncLimit=5
    # the directory where the snapshot is stored.
    # do not use /tmp for storage, /tmp here is just 
    # example sakes.
    # dataDir=/tmp/zookeeper
    # 数据文件夹
    dataDir=/usr/zookeeper-3.4.14/data
    # 日志文件夹
    dataLogDir=/usr/zookeeper-3.4.14/logs
    # the port at which the clients will connect
    clientPort=2181
    # the maximum number of client connections.
    # increase this if you need to handle more clients
    #maxClientCnxns=60
    #
    # Be sure to read the maintenance section of the 
    # administrator guide before turning on autopurge.
    #
    # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
    #
    # The number of snapshots to retain in dataDir
    #autopurge.snapRetainCount=3
    # Purge task interval in hours
    # Set to "0" to disable auto purge feature
    #autopurge.purgeInterval=1
    

    1.4 启动

    进入ZooKeeper的bin目录:

    [root@instance-e5cf5719 zookeeper-3.4.14]# cd bin/
    [root@instance-e5cf5719 bin]# ls
    README.txt  zkCleanup.sh  zkCli.cmd  zkCli.sh  zkEnv.cmd  zkEnv.sh  zkServer.cmd  zkServer.sh  zkTxnLogToolkit.cmd  zkTxnLogToolkit.sh  zookeeper.out
    
    • zkCleanup.sh :用于清理ZooKeeper的历史数据,包括事务日志文件与快照数据文件
    • zkCli.sh:连接ZooKeeper服务器的命令行客户端
    • zkEnv.sh:设置环境变量
    • zkServer.sh:启动ZooKeeper服务器

    启动ZooKeeper:

    ./zkServer.sh start
    

    成功启动如下图所示:
    在这里插入图片描述
    可以查看ZooKeeper的状态:

    ./zkServer.sh status
    

    状态信息如下图所示:
    在这里插入图片描述
    可以通过help看看./zkServer.sh下的命令

    [root@instance-e5cf5719 bin]# ./zkServer.sh help
    ZooKeeper JMX enabled by default
    Using config: /usr/zookeeper-3.4.14/bin/../conf/zoo.cfg
    Usage: ./zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}
    
    • start: 启动,用于后台启动ZooKeeper服务器
    • start-foreground: 前台启动服务器
    • stop:停止
    • restart:重启
    • status:获取状态
    • upgrade:升级
    • print-cmd : 打印ZooKeeper程序命令行及相关参数

    1.5 连接ZooKeeper客户端

    进行连接:

    ./zkCli.sh -server 127.0.0.1:2181
    

    ./zkCli.sh -server <ip>:<port>
    

    结果如下:
    在这里插入图片描述
    可以通过help获取更多的相关命令:

    [zk: 127.0.0.1:2181(CONNECTED) 0] help
    ZooKeeper -server host:port cmd args
    	stat path [watch]
    	set path data [version]
    	ls path [watch]
    	delquota [-n|-b] path
    	ls2 path [watch]
    	setAcl path acl
    	setquota -n|-b val path
    	history 
    	redo cmdno
    	printwatches on|off
    	delete path [version]
    	sync path
    	listquota path
    	rmr path
    	get path [watch]
    	create [-s] [-e] path data acl
    	addauth scheme auth
    	quit 
    	getAcl path
    	close 
    	connect host:port
    
    命令描述
    help显示所有操作命令
    stat查看节点状态,即判断节点是否存在
    set更新节点数据
    get获取节点数据
    ls path [watch]使用 ls 命令来查看当前znode的内容
    create普通创建 ; -s 含有序列;-e 临时(重启或者超时消失)
    delete删除节点
    rmr递归删除节点

    可以对相关的命令进行一些简单的测试,先创建一个新znode(运行create /zk_test my_data ),里面附带的信息为“my_data”.

    [zk: 127.0.0.1:2181(CONNECTED) 1] create /zk_test my_data
    Created /zk_test
    [zk: 127.0.0.1:2181(CONNECTED) 2] ls /
    [zookeeper, zk_test]
    

    可以看到zk_test创建成功了。可以通过get命令看看zk_test节点里的信息:

    [zk: 127.0.0.1:2181(CONNECTED) 3] get /zk_test
    my_data
    cZxid = 0x7
    ctime = Thu Dec 05 16:32:20 CST 2019
    mZxid = 0x7
    mtime = Thu Dec 05 16:32:20 CST 2019
    pZxid = 0x7
    cversion = 0
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 7
    numChildren = 0
    

    通过set可以修改zk_test里的信息。

    [zk: 127.0.0.1:2181(CONNECTED) 4] set /zk_test junk
    cZxid = 0x7
    ctime = Thu Dec 05 16:32:20 CST 2019
    mZxid = 0x8
    mtime = Thu Dec 05 16:37:03 CST 2019
    pZxid = 0x7
    cversion = 0
    dataVersion = 1
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 4
    numChildren = 0
    [zk: 127.0.0.1:2181(CONNECTED) 5] get /zk_test
    junk
    cZxid = 0x7
    ctime = Thu Dec 05 16:32:20 CST 2019
    mZxid = 0x8
    mtime = Thu Dec 05 16:37:03 CST 2019
    pZxid = 0x7
    cversion = 0
    dataVersion = 1
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 4
    numChildren = 0
    

    通过delete可以删除节点。

    [zk: 127.0.0.1:2181(CONNECTED) 6] delete /zk_test
    [zk: 127.0.0.1:2181(CONNECTED) 7] ls /
    [zookeeper]
    

    2 伪集群搭建

    我们搭建3个ZooKeeper来构建伪集群。上面我们已经搭建了zookeeper-3.4.14,现在将它复制两份,命名为zookeeper-3.4.14-1,zookeeper-3.4.14-2。

    [root@instance-e5cf5719 usr]# cp -r zookeeper-3.4.14 zookeeper-3.4.14-1
    [root@instance-e5cf5719 usr]# cp -r zookeeper-3.4.14 zookeeper-3.4.14-2
    

    此时3个ZooKeeper文件是一模一样的,构建伪集群需要对每个ZooKeeper的配置文件做一点小修改。

    对3个ZooKeeper中/conf/zoo.cfg进行修改,主要是修改3个位置:端口号日志路径集群配置
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在zoo.cfg配置中,添加了一组server配置,表示ZooKeeper集群中有3个节点,server的配置格式如下:

    server.<myid>=<IP>:<Port1>:<Port2>
    
    • myid:是节点的编号,该编号的取值范围是1-255之间的整数,且在集群中必须唯一
    • IP:表示节点所在的IP地址,如在本地环境为127.0.0.1或localhost。
    • Port1:leader节点与follower节点进行心跳检测与数据同步时所使用的端口。
    • Port2:在进行leader选举的过程中,用于投票通信的端口。

    如果是伪集群的配置方式,由于 ip 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,要给它们分配不同的端口号。

    在每个ZooKeeper文件的/data目录下分别创建一个myid文件,myid文件里只需有服务器编号(如1,2, 3)。

    分别启动三个ZooKeeper服务(开启3个窗口来启动服务)。

    结果如下:

    • zookeeper-3.4.14
    [root@instance-e5cf5719 bin]# ./zkServer.sh start
    ZooKeeper JMX enabled by default
    Using config: /usr/zookeeper-3.4.14/bin/../conf/zoo.cfg
    Starting zookeeper ... STARTED
    [root@instance-e5cf5719 bin]# ./zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /usr/zookeeper-3.4.14/bin/../conf/zoo.cfg
    Mode: follower
    
    • zookeeper-3.4.14-1
    [root@instance-e5cf5719 bin]# ./zkServer.sh start
    ZooKeeper JMX enabled by default
    Using config: /usr/zookeeper-3.4.14-1/bin/../conf/zoo.cfg
    Starting zookeeper ... STARTED
    [root@instance-e5cf5719 bin]# ./zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /usr/zookeeper-3.4.14-1/bin/../conf/zoo.cfg
    Mode: leader
    
    • zookeeper-3.4.14-2
    [root@instance-e5cf5719 bin]# ./zkServer.sh start
    ZooKeeper JMX enabled by default
    Using config: /usr/zookeeper-3.4.14-2/bin/../conf/zoo.cfg
    Starting zookeeper ... STARTED
    [root@instance-e5cf5719 bin]# ./zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /usr/zookeeper-3.4.14-2/bin/../conf/zoo.cfg
    Mode: follower
    

    通过查看状态可以看到zookeeper-3.4.14-1是leader,zookeeper-3.4.14和zookeeper-3.4.14-2是follower

    可以参考官网的架构图来辅助理解。
    在这里插入图片描述

    将zookeeper-3.4.14-1停掉,来观察下leader的重新选举。

    [root@instance-e5cf5719 bin]# ./zkServer.sh stop
    ZooKeeper JMX enabled by default
    Using config: /usr/zookeeper-3.4.14-1/bin/../conf/zoo.cfg
    Stopping zookeeper ... STOPPED
    

    分别查看zookeeper-3.4.14和zookeeper-3.4.14-2的状态。

    [root@instance-e5cf5719 bin]# ./zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /usr/zookeeper-3.4.14/bin/../conf/zoo.cfg
    Mode: follower
    
    [root@instance-e5cf5719 bin]# ./zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /usr/zookeeper-3.4.14-2/bin/../conf/zoo.cfg
    Mode: leader
    

    可以看到zookeeper-3.4.14-2成为了leader。

    3 集群模式搭建

    集群模式搭建跟伪集群非常相似,只是集群的ZooKeeper是部署在不同的机器,伪集群的ZooKeeper是部署在同一台机器,在对/conf/zoo.cfg进行修改时,因为是不同的机器(ip不同),可以不用修改端口号。除了这一点差别外,其它的搭建方式跟伪集群一模一样,就不做多介绍了。

    4 四字命令(ZooKeeper Commands: The Four Letter Words)

    ZooKeeper有一个命令行集合,每个命令由四个字母组成,俗称四字命令。

    命令官方描述解释
    confNew in 3.3.0: Print details about serving configuration.输出服务配置的详细信息
    consNew in 3.3.0: List full connection/session details for all clients connected to this server. Includes information on numbers of packets received/sent, session id, operation latencies, last operation performed, etc…列出连接到该服务端的所有客户端的所有连接/会话的详细信息,包括接收/发送的packet数量、session id、操作延迟、最后的操作执行等
    crstNew in 3.3.0: Reset connection/session statistics for all connections.重置所有connetions的连接/会话统计信息
    dumpLists the outstanding sessions and ephemeral nodes. This only works on the leader.列出未完成的会话和临时节点。这只对leader有效。
    enviPrint details about serving environment输出服务环境的详细信息
    ruokTests if server is running in a non-error state. The server will respond with imok if it is running. Otherwise it will not respond at all. A response of “imok” does not necessarily indicate that the server has joined the quorum, just that the server process is active and bound to the specified client port. Use “stat” for details on state wrt quorum and client connection information.测试服务是否运行正常
    srstReset server statistics.重置服务统计数据
    srvrNew in 3.3.0: Lists full details for the server.
    statLists brief details for the server and connected clients.
    wchsNew in 3.3.0: Lists brief information on watches for the server.
    wchcNew in 3.3.0: Lists detailed information on watches for the server, by session. This outputs a list of sessions(connections) with associated watches (paths). Note, depending on the number of watches this operation may be expensive (ie impact server performance), use it carefully.
    wchpNew in 3.3.0: Lists detailed information on watches for the server, by path. This outputs a list of paths (znodes) with associated sessions. Note, depending on the number of watches this operation may be expensive (ie impact server performance), use it carefully.
    mntrNew in 3.4.0: Outputs a list of variables that could be used for monitoring the health of the cluster.

    可能出现nc命令不存在的情况,如下:

    [root@instance-e5cf5719 bin]# echo stat | nc localhost 2181
    -bash: nc: command not found
    

    在/usr/bin目录中查看是否有nc命令,如没有,可按下面的方式进行安装:

    [root@instance-e5cf5719 bin]# yum install -y nc
    Loaded plugins: langpacks, versionlock
    baidu-bcm                                                                                                                                                                                                                     | 1.2 kB  00:00:00     
    base                                                                                                                                                                                                                          | 3.6 kB  00:00:00     
    epel                                                                                                                                                                                                                          | 5.4 kB  00:00:00     
    extras                                                                                                                                                                                                                        | 2.9 kB  00:00:00     
    updates                                                                                                                                                                                                                       | 2.9 kB  00:00:00     
    (1/5): epel/x86_64/group_gz                                                                                                                                                                                                   |  90 kB  00:00:00     
    (2/5): epel/x86_64/updateinfo                                                                                                                                                                                                 | 1.0 MB  00:00:00     
    (3/5): extras/7/x86_64/primary_db                                                                                                                                                                                             | 153 kB  00:00:00     
    (4/5): epel/x86_64/primary_db                                                                                                                                                                                                 | 6.9 MB  00:00:00     
    (5/5): updates/7/x86_64/primary_db                                                                                                                                                                                            | 5.9 MB  00:00:00     
    Excluding 1 update due to versionlock (use "yum versionlock status" to show it)
    Resolving Dependencies
    --> Running transaction check
    ---> Package nmap-ncat.x86_64 2:6.40-19.el7 will be installed
    --> Finished Dependency Resolution
    
    Dependencies Resolved
    
    =====================================================================================================================================================================================================================================================
     Package                                                     Arch                                                     Version                                                           Repository                                              Size
    =====================================================================================================================================================================================================================================================
    Installing:
     nmap-ncat                                                   x86_64                                                   2:6.40-19.el7                                                     base                                                   206 k
    
    Transaction Summary
    =====================================================================================================================================================================================================================================================
    Install  1 Package
    
    Total download size: 206 k
    Installed size: 423 k
    Downloading packages:
    nmap-ncat-6.40-19.el7.x86_64.rpm                                                                                                                                                                                              | 206 kB  00:00:00     
    Running transaction check
    Running transaction test
    Transaction test succeeded
    Running transaction
      Installing : 2:nmap-ncat-6.40-19.el7.x86_64                                                                                                                                                                                                    1/1 
      Verifying  : 2:nmap-ncat-6.40-19.el7.x86_64                                                                                                                                                                                                    1/1 
    
    Installed:
      nmap-ncat.x86_64 2:6.40-19.el7                                                                                                                                                                                                                     
    
    Complete!
    

    做几个测试:

    [root@instance-e5cf5719 bin]# echo conf | nc localhost 2181
    clientPort=2181
    dataDir=/usr/zookeeper-3.4.14/data/version-2
    dataLogDir=/usr/zookeeper-3.4.14/logs/version-2
    tickTime=2000
    maxClientCnxns=60
    minSessionTimeout=4000
    maxSessionTimeout=40000
    serverId=1
    initLimit=10
    syncLimit=5
    electionAlg=3
    electionPort=3881
    quorumPort=2881
    peerType=0
    [root@instance-e5cf5719 bin]# echo mntr | nc localhost 2181
    zk_version	3.4.14-4c25d480e66aadd371de8bd2fd8da255ac140bcf, built on 03/06/2019 16:18 GMT
    zk_avg_latency	0
    zk_max_latency	0
    zk_min_latency	0
    zk_packets_received	3
    zk_packets_sent	2
    zk_num_alive_connections	1
    zk_outstanding_requests	0
    zk_server_state	leader
    zk_znode_count	11
    zk_watch_count	0
    zk_ephemerals_count	0
    zk_approximate_data_size	189
    zk_open_file_descriptor_count	33
    zk_max_file_descriptor_count	65535
    zk_fsync_threshold_exceed_count	0
    zk_followers	2
    zk_synced_followers	2
    zk_pending_syncs	0
    zk_last_proposal_size	-1
    zk_max_proposal_size	-1
    zk_min_proposal_size	-1
    

    5 总结

    至此我们完成ZooKeeper单机版、伪集群和集群环境的搭建。在生产环境上为了确保ZooKeeper的高可用,务必要搭建集群环境。

    展开全文
  • 单机版fastDFS安装

    2021-08-31 19:08:24
    它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡。 FastDFS 系统有三个角色:跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。 Tracker Server: 跟踪服务器,...

    FastDFS安装

    FastDFS 是一个开源的高性能分布式文件系统(DFS)。 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡。

    FastDFS 系统有三个角色:跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。

    Tracker Server: 跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的storage server和group,每个 storage 在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳。多个 Tracker 之间是对等关系,不存在单点故障。
    Storage Server: 存储服务器,主要提供容量和备份服务;以 group 为单位,每个 group 内可以有多台 storage server,组内的storage server上的数据互为备份。
    **Client:**客户端,上传下载数据的服务器。

    相关文件下载

    # 下载libfastcommon(如果内网的话就直接通过wget后面的地址下载,然后再上传到服务器)
    wget https://github.com/happyfish100/libfastcommon/archive/V1.0.43.zip
    
    # 下载 FastDFS
    wget https://github.com/happyfish100/fastdfs/archive/V6.06.zip
    
    # 下载nginx(单机版可不管)
    wget https://nginx.org/download/nginx-1.20.1.tar.gz
    
    # nginx相关依赖(单机版可不管)
    # pcre
    wget https://ftp.pcre.org/pub/pcre/pcre-8.44.zip
    # zlib
    wget http://zlib.net/zlib-1.2.11.tar.gz
    # openssl
    wget https://github.com/openssl/openssl/archive/OpenSSL_1_1_1g.zip
    # fastdfs-nginx-module
    wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.22.zip
    
    # 安装其他
    yum -y install unzip
    yum -y install gcc gcc-c++ autoconf automake make
    

    安装

    # 安装libfastcommon
    unzip libfastcommon-1.0.43.zip 
    cd libfastcommon-1.0.43
    ./make.sh
    ./make.sh install
    # 安装fastdfs
    unzip fastdfs-6.06.zip
    cd fastdfs-6.06
    ./make.sh
    ./make.sh install
    
    
    # 安装完成后/etc/fdfs/下面存在sample文件,拷贝配置文件并修改相关配置
    cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf  # # tracker节点
    cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf  # # storage节点
    cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf  # # # 客户端文件,测试用(单机版可不管)
    cp /root/fastdfs/fastdfs-6.06/conf/http.conf /etc/fdfs/  # # 供nginx访问使用(单机版可不管)
    cp /root/fastdfs/fastdfs-6.06/conf/mime.types /etc/fdfs/  # 供nginx访问使用
    

    修改相应的配置

    # 创建数据和日志存储目录(自定义)
    mkdir -p /data/fastdfs
    cd /data/fastdfs
    mkdir tracker
    mkdir storage
    
    # 查看本机地址(查到的地址放在tracker_server)
    ip addr
    # 修改tracker.conf配置
    bind_addr = 本机ip
    base_path=/data/fastdfs/storage
    
    # 修改storage.conf配置
    base_path=/data/fastdfs/tracker  # 数据和日志文件存储根目录
    store_path0=/data/fastdfs/tracker  # 第一个存储目录
    tracker_server=本机ip:22122  # tracker服务器IP和端口
    
    # 修改client.conf配置
    base_path = /data/fastdfs
    tracker_server = 本机ip:22122
    

    启动

    # 启动 tracker。
    /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
    # 启动 storage
    /usr/bin/fdfs_storaged /etc/fdfs/storage.conf start
    
    # 查看是否启动成功
    [root@0005 fdfs]# ps -ef | grep fdfs
    root     1352948       1  0 17:45 ?        00:00:00 /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
    root     1352957       1  0 17:45 ?        00:00:00 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf start
    root     1357738 1351722  0 19:00 pts/1    00:00:00 grep fdfs
    

    测试文件上传

    [root@0005 fdfs]#  fdfs_test /etc/fdfs/client.conf upload /opt/fast/1.png
    This is FastDFS client test program v6.06
    
    Copyright (C) 2008, Happy Fish / YuQing
    
    FastDFS may be copied only under the terms of the GNU General
    Public License V3, which may be found in the FastDFS source kit.
    Please visit the FastDFS Home Page http://www.fastken.com/ 
    for more detail.
    ...
    example file url: http://本机ip/group1/M00/00/00/CuCyCGEuCCiAclCBAAA8CM9lCmg704_big.png
    

    文件下载测试

    # 下载有问题
    fdfs_test /etc/fdfs/client.conf downlaod group1 M00/00/00/CuCyCGEuCCiAclCBAAA8CM9lCmg704_big.png
    # 去上传地方查看文件
    [root@0005 fdfs]# cd /data/fastdfs/storage/data/00/00/
    [root@0005 00]# ll
    -rw-r--r-- 1 root root 15368 Aug 31 18:44 CuCyCGEuCCiAclCBAAA8CM9lCmg704_big.png
    -rw-r--r-- 1 root root    49 Aug 31 18:44 CuCyCGEuCCiAclCBAAA8CM9lCmg704_big.png-m
    -rw-r--r-- 1 root root 15368 Aug 31 18:44 CuCyCGEuCCiAclCBAAA8CM9lCmg704.png
    -rw-r--r-- 1 root root    49 Aug 31 18:44 CuCyCGEuCCiAclCBAAA8CM9lCmg704.png-m
    

    报错一

    [root@0005 fdfs]# fdfs_upload_file /etc/fdfs/client.conf testfile.zip
    [2021-08-31 17:11:34] ERROR - file: connection_pool.c, line: 142, connect to server 192.168.0.196:22122 fail, errno: 110, error info: Connection timed out
    [2021-08-31 17:11:39] ERROR - file: connection_pool.c, line: 142, connect to server 192.168.0.197:22122 fail, errno: 110, error info: Connection timed out
    

    这里我做了两步操作:

    # 1、开通22122和23000端口
    firewall-cmd --zone=public --add-port=22122/tcp --permanent
    firewall-cmd --zone=public --add-port=22122/tcp --permanent
    # 2、将所有的tracker.conf、storage.conf和Client.conf中的ip修改文修改为本机的ip
    
    展开全文
  • Spark 安装(单机版

    2020-06-01 20:16:40
    Spark 安装(单机版)解压文件到指定目录修改配置文件重命名到/spark240/conf目录下(1)saprk-env.sh(2)slaves (配置单机的话,则不需要配置)配置环境变量运行Spark (已经安装了 scala)先启动 Hadoop启动 Spark...
  • 单机版k8s集群搭建及Java Web应用部署

    千次阅读 2019-01-22 11:30:29
    最近在阅读《Kubernetes权威指南》这本书,该书最开始的例子是搭建单机版k8s集群,然后部署一个Java应用。跟着操作的过程中,遇到不少的坑,记录一下,也算是给后面的人提个醒吧。 项目介绍 该例子就是一个简单的...
  • flume单机版环境搭建

    2018-12-04 23:20:13
    Collector层:其作用是汇总多个Agent上报的数据并加载到Storage中,在多个Collector之间遵循负载均衡规则,在集群环境下该层体现比较明显,单机版展现不出来; Storage层:是一个存储系统,类型不固定,可以是文本...
  • 达梦数据库单机版安装教程 文章目录前言一、系统及数据库前期的规划二、系统参数相关设置1.关闭防火墙2.关闭selinux3.创建安装用户和组4.修改操作系统资源限制5.修改内核参数7.创建数据文件存放目录8.修改用户dmdba...
  • Hadoop-单机版安装

    2019-03-05 22:20:49
    一、概述 ... 配置文件目录:/hadoop-3.1.1/etc/hadoop/ 二、安装 [root@bogon hadoop]# cd hadoop-3.1.1 [root@bogon hadoop-3.1.1]# ls bin etc include lib libexec LICENSE.txt logs NOTICE.txt ...
  • 如果机器资源有限,可以使用单机伪分布式 本次部署是在centos 7.1上部署的,ip地址是192.168.1.91,主机名称是hadoop03,已经做好了ssh免登录。Spark各依赖组件的版本分别如下: JDK 1.8.0_71 Scala 2.11.8 ...
  • Spark 一:安装(单机版)解压文件到指定目录修改配置文件重命名到/spark240/conf目录下(1)saprk-env.sh(2)slaves (配置单机的话,则不需要配置)配置环境变量运行Spark (已经安装了 scala)先启动 Hadoop启动 ...
  • 一、背景:单机实现认证过程,也就是通过读取一个文件(xxx.lic)来判断是否认证过。产品类似桌面应用需要安装包,客户要想使用该产品装完产品后第一次打开时是需要完成一个授权认证的(需要读取...
  • druid单机版安装

    2020-04-24 17:08:44
    sample data, and other files for the quickstart tutorials 4、分几种单机版(根据硬件配置决定启动什么单机版) Nano-Quickstart: 1 CPU, 4GB RAM Micro-Quickstart: 4 CPU, 16GB RAM Small: 8 CPU, 64GB RAM (~...
  • 1.安装kafka(单机版) 1.1上传 kafka_2.11-2.0.0.tgz 到 /root/Downloads 1.2解压 tar 包 tar -zxvf kafka_2.11-2.0.0.tgz 解压后:kafka_2.11-2.0.0 1.3删除 LICENSE、NOTICE 、site-docs rm -rf LICENSE ...
  • Kafka单机版搭建

    2019-09-23 14:26:02
    # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright ownership. # The ASF licenses this file to You under the Apache ...
  • 之前讲解了redis的使用 这一篇主要来说redis和springboot整合的一个方式 单机版 开始 依赖 springboot 版本是 2.1.9 默认使用lettuce操作redis的 <?xml version="1.0" encoding="UTF-8"?> <project xmlns=...
  • 一、minio是什么? MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和...【单机版】centos7.4
  • oracle goldgate 安装配置-单机版(ogg) 准备 OGG 配置分两部分,源端与目标端两部分,安装文件不一致,需注意! 环境: centos7 2台 1. 源端安装oracle 这里不做配置,请查看 Oracle单机版安装部署 2. 目标端安装...
  • 参考文章 https://blog.csdn.net/u012453843/article/details/69951920#comments ...&nbsp; &nbsp; &nbsp; &nbsp; 由于FastDFS集群搭建非常复杂,对于初期学习FastDFS来说,搭建个单机版的作...
  • 001 TiDB单机版安装

    2021-07-20 23:06:04
    使用 TiUP Playground 快速部署本地测试环境 注:本教程本地测试环境部署, 若单机模拟集群部署, 请参考: 使用 TiUP cluster 在单机上模拟生产环境部署步骤 基础环境配置 基础配置 安装yum源 curl -o /etc/yum....
  • 2. 部署单机 TC Server 3. 部署集群 TC Server 4. 接入 Java 应用 1. 概述 Seata 是阿里开源的一款开源的分布式事务解决方案,致力于提供高性能和简单易用的分布式事务服务。 1.1 四种事务模式 Seata 目标打造一站...
  • 基于docker-compose方式安装Rocketmq(分为单机版,集群版,Dledger选举版) 一.单机版 1、在usr/local/docker/rocketmq文件夹下新建docker-compose.yml version: '3.5' services: rmqnamesrv: image: foxiswho/...
  • Hbase1.3.x单机版安装

    千次阅读 2018-08-15 10:07:52
    Hbase1.x单机版安装 参考文档: http://blog.csdn.net/it_taojingzhan/article/details/51789739 http://blog.csdn.net/blackenn/article/details/52234420 ......

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,586
精华内容 1,434
热门标签
关键字:

单机版license文件