精华内容
下载资源
问答
  • 分布式实例

    2018-10-07 21:58:07
    分布式实例,大概流程以及基本使用说明。目前比较简单,仅适合参考
  • 一个简单的java分布式实例模块化应用的开发定义了一个基础架构入门
  • 分布式实例视频

    2018-05-25 10:44:12
    里面有30多个视频,本人全部看完,总体来说效果不错,不是很差,对中低级程序员有很大的帮助,对高级程序只能起到温习的作用
  • Dubbo基于Zookeeper实现分布式实例,文档中有对应代码示例,也附有视频地址,看示例代码不明白的,可以再参考视频中的讲解来理解
  • 运行Hadoop伪分布式实例

    千次阅读 2015-10-23 13:39:23
    上面的单机模式,grep 例子读取的是本地数据,伪分布式读取的则是 HDFS 上的数据。要使用 HDFS,首先需要创建用户目录 bin/hdfs dfs -mkdir -p /user/hadoop 接着将 etc/hadoop 中的文件作为输入文件复制到...

    上面的单机模式,grep 例子读取的是本地数据,伪分布式读取的则是 HDFS 上的数据。要使用 HDFS,首先需要创建用户目录

      
    1. bin/hdfs dfs -mkdir -p /user/hadoop

    接着将 etc/hadoop 中的文件作为输入文件复制到分布式文件系统中,即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。上一步已创建了用户目录 /user/hadoop ,因此命令中就可以使用相对目录如 input,其对应的绝对路径就是 /user/hadoop/input:

      
    1. bin/hdfs dfs -mkdir input
    2. bin/hdfs dfs -put etc/hadoop/*.xml input

    复制完成后,可以通过如下命令查看文件列表:

      
    1. bin/hdfs dfs -ls input

    伪分布式运行 MapReduce 作业的方式跟单机模式相同,区别在于伪分布式读取的是HDFS中的文件(可以将单机步骤中创建的本地 input 文件夹删掉以及运行结果来验证这一点)。

      
    1. bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

    查看运行结果的命令(查看的是位于 HDFS 中的输出结果):

      
    1. bin/hdfs dfs -cat output/*

    也可以将运行结果取回到本地:

      
    1. rm -R ./output
    2. bin/hdfs dfs -get output output # 将 HDFS 上的 output 文件夹拷贝到本机
    3. cat ./output/*

    结果如下,注意到刚才我们已经更改了配置文件,所以运行结果不同。

    Hadoop伪分布式运行grep结果Hadoop伪分布式运行grep结果

    Hadoop运行程序时,默认输出目录不能存在,因此再次运行需要执行如下命令删除 output文件夹:

      
    1. bin/hdfs dfs -rm -r /user/hadoop/output # 删除 output 文件夹
    运行程序时,输出目录需不存在

    运行 Hadoop 程序时,结果的输出目录(如output)不能存在,否则会提示错误,因此运行前需要先删除输出目录。在实际开发应用程序时,可在程序中加上如下代码,能在每次运行时自动删除输出目录,避免繁琐的命令行操作:

    
        
    1. Configuration conf = new Configuration();
    2. Job job = new Job(conf);
    3. ...
    4. /* 删除输出目录 */
    5. Path outputPath = new Path(args[1]);
    6. outputPath.getFileSystem(conf).delete(outputPath, true);
    7. ...

    若要关闭 Hadoop,则运行

      
    1. sbin/stop-dfs.sh

    自此,你已经掌握 Hadoop 的配置和基本使用了。

    注意

    下次启动 hadoop 时,无需进行 namenode 的初始化,只需要运行 sbin/start-dfs.sh 就可以!

    附加教程: 配置PATH环境变量

    在这里额外讲一下 PATH 这个环境变量(可执行 echo $PATH 查看,当中包含了多个目录)。例如我们在执行 ls 这个命令时,实际执行的是 /bin/ls 这个程序,而不是 ~/ls 这个程序(假如存在)。系统是根据 PATH 这个环境变量中包含的目录位置,逐一进行查找,直至在这些目录位置下找到匹配的程序(若没有匹配的则提示该命令不存在)。

    上面的教程中,我们都是先进入到 /usr/local/hadoop 目录中,再执行 sbin/hadoop,实际上等同于运行/usr/local/hadoop/sbin/hadoop。我们可以将 Hadoop 命令的相关目录加入到 PATH 环境变量中,这样就可以直接通过 start-dfs.sh 开启 Hadoop,也可以直接通过 hdfs 访问 HDFS 的内容,方便平时的操作。

    同样我们选择在 ~/.bashrc 中进行设置(vim ~/.bashrc,与 JAVA_HOME 的设置相似),在文件最前面加入如下单独一行:

    export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin
    

    添加后执行 source ~/.bashrc 使设置生效,生效后,在任意目录中,都可以直接使用 hdfs dfs -ls input 等命令,而无需使用绝对目录。

    安装Hadoop集群

    如果需要安装 Hadoop 集群,请查看Hadoop集群安装配置教程

    相关教程

    参考资料

    展开全文
  • Hadoop伪分布式例子 ubuntu 18 hadoop 3.2.1 启动hadoop并在HDFS 中创建用户目录 cd /usr/local/hadoop ./sbin/start-dfs.sh ./bin/hdfs dfs -mkdir -p /user/hadoop 2. 将 /usr/local/hadoop/etc/...

    Hadoop伪分布式例子

    ubuntu 18hadoop 3.2.1
    1. 启动hadoop并在HDFS 中创建用户目录
    cd /usr/local/hadoop
    ./sbin/start-dfs.sh
    
    ./bin/hdfs dfs -mkdir -p /user/hadoop
    

    在这里插入图片描述
    2. 将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input

    ./bin/hdfs dfs -mkdir input
    ./bin/hdfs dfs -put ./etc/hadoop/*.xml input
    

    在这里插入图片描述
    3. 复制完成后,查看 HDFS 中的文件列表
    ./bin/hdfs dfs -ls input
    在这里插入图片描述
    4. Hadoop伪分布式运行grep的结果(查看位于 HDFS 中的输出结果)
    在这里插入图片描述
    5. 关闭 Hadoop

    ./sbin/stop-dfs.sh
    

    在这里插入图片描述
    加油!
    在这里插入图片描述

    展开全文
  • Akka.net分布式实例

    2016-10-28 14:32:35
    Akka.net分布式实例
  • 上面的单机模式,grep 例子读取的是本地数据,伪分布式读取的则是 HDFS 上的数据。要使用 HDFS,首先需要在 HDFS 中创建用户目录: ./bin/hdfs dfs -mkdir -p /user/hadoop Shell 命令 接着将 ./etc/hadoop 中...

    上面的单机模式,grep 例子读取的是本地数据,伪分布式读取的则是 HDFS 上的数据。要使用 HDFS,首先需要在 HDFS 中创建用户目录:

      
    1. ./bin/hdfs dfs -mkdir -p /user/hadoop
    Shell 命令

    接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中,即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户,并且已创建相应的用户目录 /user/hadoop ,因此在命令中就可以使用相对路径如 input,其对应的绝对路径就是 /user/hadoop/input:

      
    1. ./bin/hdfs dfs -mkdir input
    2. ./bin/hdfs dfs -put ./etc/hadoop/*.xml input
    Shell 命令

    复制完成后,可以通过如下命令查看文件列表:

      
    1. ./bin/hdfs dfs -ls input
    Shell 命令

    伪分布式运行 MapReduce 作业的方式跟单机模式相同,区别在于伪分布式读取的是HDFS中的文件(可以将单机步骤中创建的本地 input 文件夹,输出结果 output 文件夹都删掉来验证这一点)。

      
    1. ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
    Shell 命令

    查看运行结果的命令(查看的是位于 HDFS 中的输出结果):

      
    1. ./bin/hdfs dfs -cat output/*
    Shell 命令

    结果如下,注意到刚才我们已经更改了配置文件,所以运行结果不同。

    Hadoop伪分布式运行grep结果Hadoop伪分布式运行grep结果

    我们也可以将运行结果取回到本地:

      
    1. rm -r ./output # 先删除本地的 output 文件夹(如果存在)
    2. ./bin/hdfs dfs -get output ./output # 将 HDFS 上的 output 文件夹拷贝到本机
    3. cat ./output/*
    Shell 命令

    Hadoop 运行程序时,输出目录不能存在,否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ,因此若要再次执行,需要执行如下命令删除 output 文件夹:

      
    1. ./bin/hdfs dfs -rm -r output # 删除 output 文件夹
    Shell 命令
    运行程序时,输出目录不能存在

    运行 Hadoop 程序时,为了防止覆盖结果,程序指定的输出目录(如 output)不能存在,否则会提示错误,因此运行前需要先删除输出目录。在实际开发应用程序时,可考虑在程序中加上如下代码,能在每次运行时自动删除输出目录,避免繁琐的命令行操作:

    
        
    1. Configuration conf = new Configuration();
    2. Job job = new Job(conf);
    3.  
    4. /* 删除输出目录 */
    5. Path outputPath = new Path(args[1]);
    6. outputPath.getFileSystem(conf).delete(outputPath, true);
    Java

    若要关闭 Hadoop,则运行

      
    1. ./sbin/stop-dfs.sh
    Shell 命令
    注意

    下次启动 hadoop 时,无需进行 NameNode 的初始化,只需要运行 ./sbin/start-dfs.sh 就可以!

    展开全文
  • 一、分布式系统的挑战 分布式系统的挑战,其实就是某种意义上分布式系统研究的重点内容。 1、异构性 分布式系统的运行环境,存在下列异构性(即存在多样性和差别):网络、计算机硬件、操作系统、编程语言、由...

    一、分布式系统的挑战

    分布式系统的挑战,其实就是某种意义上分布式系统研究的重点内容。

    1、异构性

    分布式系统的运行环境,存在下列异构性(即存在多样性和差别):网络、计算机硬件、操作系统、编程语言、由不同开发者完成的软件实现。中间件是解决异构性的一种方式,中间件是指一个软件层,它提供了一个编程抽象,屏蔽了底层网络、计算机硬件、操作系统、编程语言的异构性。

    2、开放性

             计算机系统的开放性是决定系统能否以不同的方式被扩展和重新实现的特性。

    3、安全性

             信息资源的安全性包括三个部分:机密性(防止泄露给未授权的个人)、完整性(防止被改变或被破坏)、可用性(防止对资源访问的干扰)。

    4、可伸缩性

             分布式系统可以在不同的规模下有效且高效地运行。

    5、故障处理

             分布式系统的故障处理是困难的,因为分布式系统的故障是部分的,有些组件出现了故障,有些组件可以正产运行。故障处理的技术有:检测故障、掩盖故障(有些能够被检测出来的故障,可以进行一些处理,防止系统整体的故障)、容错、故障恢复、冗余。

    6、并发性

             在分布式系统中,服务和应用均提供可被客户利用的资源。

    7、透明性

             透明性被定义为,对用户和应用程序,分布式系统是一个整体,屏蔽了分布式系统组件的分离性。

    8、服务质量

             服务质量可以用可以用可靠性、安全性和性能来去评价。
     

    展开全文
  • JavaWeb_Cloud微服务平台是一款基于SpringCloud框架研发的分布式微服务框架,主要使用技术栈包括: SpringCloud、Vue、ElementUI、MybatisPlus,是一款精心打造的权限(RBAC)及内容管理系统,致力于做更简洁的后台...
  • Hadoop伪分布式运行实例 1. 打开服务 ./sbin/start-dfs.sh 2. 在 HDFS 中创建用户目录 ./bin/hdfs dfs -mkdir -p /user/hadoop 3. 将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中 ./bin/hdfs ...
  • Hadoop的单机伪分布式搭建和运行第一个WordCount程序 • 环境: macOs下 Eclipse(Neon)+Hadoop-2.5.2(64位) 注:已经安装的java环境,我的事jdk1.8的
  • java 分布式存储实例

    2018-04-17 16:18:06
    java实现的分布式存储,当时的大作业,在老师给的模板下完成的,可以实现文件分布式存储,下载。学弟学妹可以拿去当大作业,新手可以用来学学java上传下载文件。只是这个操作起来有点麻烦,得自己琢磨琢磨。
  • C#分布式开发源码实例

    热门讨论 2009-11-30 13:36:30
    分布式开发源码实例,使用c#做的分布式开发,非常通俗易懂,适合初学的同学们使用,一看就懂。
  • 分布式计算实例

    千次阅读 2018-08-06 22:19:49
    分布式计算实例 July 2, 2017交易基础haotrader 本文介绍分布式计算的基本思路和关键实例代码。 Haotrader的分布式计算在之前已经说过。这篇再详细介绍一下,增加了一些必要的功能,使回测基本可以在一种CS架构下...
  • 一个分布式测试实例 在做分布式测试之前先了解一下集群的概念和分布式的原理: 集群:同一个业务,部署在多个服务器上。分布式:一个业务分拆成多个子业务,或者本身就是不同的业务,部署在不同的服务器上。 简单说...
  • 主要介绍了Java基于redis实现分布式锁代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
  • hadoop+spark分布式集群搭建及spark程序示例,例子程序为用二项逻辑斯蒂回归进行二分类分析和一个简单的求平均的程序,两种不同的运行方式
  • redis分布式锁原理与实例

    千次阅读 多人点赞 2019-10-09 16:30:07
    1 分布式锁的实现方式 2 redis分布式锁的原理 2.1 分布式锁的基本实现 2.2 如何避免死锁 2.3 解锁 3 redis分布式锁实现示例 4 验证 4.1 创建redis连接池 4.2 单线程验证 4.3 多线程验证 1 分布式锁的实现...
  • Hadoop伪分布式运行案例

    千次阅读 2018-08-13 17:44:54
    1.分析 1)准备一台客户机 2)安装jdk 3)配置环境变量 4)配置集群 5)启动、测试集群增、删、查 6)执行wordcount案例 2.执行步骤 1)配置文件 ...a....修改 JAVA_HO...
  • SSM框架完整实例,so架构 分布式 概括到(redis缓存的具体使用 activeMQ消息队列的具体使用)单点登录系统
  • Hadoop2.7.1伪分布式运行实例

    千次阅读 2015-07-30 15:23:36
    上面的单机模式,grep 例子读取的是本地数据,伪分布式读取的则是 HDFS 上的数据。要使用 HDFS,首先需要创建用户目录 bin/hdfs dfs -mkdir -p user/hadoop 接着将 etc/hadoop 中的文件作为输入文件复制到分布式...
  • redis分布式实例

    千次阅读 2019-08-19 12:53:01
    什么是分布式分布式锁是控制分布式系统之间同步访问共享资源的一种方式。在分布式系统中,常常需要协调他们的动作。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源,那么访问这些资源的时候...
  • 本文实例讲述了Python自定义主从分布式架构。分享给大家供大家参考,具体如下: 环境:Win7 x64,Python 2.7,APScheduler 2.1.2。 原理图如下: 代码部分: (1)、中心节点: #encoding=utf-8 #author: walker #...
  • 资源名称:分布式控制系统(DCS)设计与应用实例资源截图: 资源太大,传百度网盘了,链接在附件中,有需要的同学自取。
  • 主要介绍了Redis Template实现分布式锁,需要的朋友可以参考下

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 284,020
精华内容 113,608
关键字:

分布式实例