精华内容
下载资源
问答
  • ubuntu上面运行hadoop自带的wordcount实例
  • Hadoop 运行wordcount任务卡在runnning job的一种解决办法 在使用Mac系统构建本地伪分布式hadoop系统,遇到如下问题 网上有较多的解决办法,但是均不能解决我的问题,后来经过google查询之后,对yarn-site.xml...

    Hadoop 运行wordcount任务卡在runnning job的一种解决办法

    在使用Mac系统构建本地伪分布式hadoop系统,遇到如下问题

    错误视图


    网上有较多的解决办法,但是均不能解决我的问题,后来经过google查询之后,对yarn-site.xml 添加以下配置信息

    <property>
        <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
        <value>95.0</value>
     </property>

    其原因是我因囊中羞涩买的128G的macbook,当剩余硬盘容量不足设定阈值时,就会判定该节点坏了,由于是伪分布式,所以任务会被无限搁置。

    展开全文
  • Hadoop 运行wordcount案例

    2017-02-28 14:54:57
    [hadoop@master-hadoop hadoop-2.4.1]$sbin/start-dfs.sh 启动yarn 资源集群管理 [hadoop@master-hadoop hadoop-2.4.1]$sbin/start-yarn.sh 启动历史服务 [hadoop@master-hadoop hadoop-2.4.1]$sbin/mr-job...

    启动dfs

    [hadoop@master-hadoop hadoop-2.4.1]$sbin/start-dfs.sh

    启动yarn 资源集群管理

    [hadoop@master-hadoop hadoop-2.4.1]$sbin/start-yarn.sh

    启动历史服务

    [hadoop@master-hadoop hadoop-2.4.1]$sbin/mr-jobhistory-daemon.shstart historyserver

    查看系统进程

    [hadoop@master-hadoop hadoop-2.4.1]$jps


    注意:

     NameNode 存储元数据

     DataNode  存储数据

     SecondaryNameNode  辅助namenode进行集群管理

     ResourceManager   管理集群资源

     NodeManager   负责ResourceManager申请资源

     Jps  查看系统进程

    http://master-hadoop.dragon.org:50070/dfshealth.jsp



    删除当前wc.txt文件

    [hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -rm /test/wc.txt

    删除当前目录下所有的文件

    [hadoop@master-hadoop hadoop-2.4.1]$ bin/hdfs dfs -rm /out2/*

    查看文件是否被删除了!

    [hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -ls /test/

    删除目录test

    [hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -rmdir /test

    查看是否存在目录test

    [hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -ls /

     

    创建目录test

    [hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -mkdir /test

    编辑个空文件

    [hadoop@master-hadoop hadoop-2.4.1]# touch wc.input

    编写这个文件

    [hadoop@master-hadoop hadoop-2.4.1]# vi wc.input

    将这个文件上传到hdfs /test/

    [hadoop@master-hadoophadoop-2.4.1]$ bin/hdfs dfs -put ./wc.input /test/

     

    运行wordcount案例输入,输出

    [root@master-hadoop hadoop-2.4.1]# bin/yarn jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /test  /out1



    http://master-hadoop.dragon.org:19888/jobhistory/job/job_1488239177698_0001/



     [hadoop@master-hadoop hadoop-2.4.1]$ bin/hdfsdfs -ls /out1

    Found 2 items

    -rw-r--r--  1 hadoop supergroup          02017-02-27 08:28 /out2/_SUCCESS

    -rw-r--r--  1 hadoop supergroup         512017-02-27 08:28 /out2/part-r-00000

     

    查看/test/output/part-r-00000文件的统计的单词个数

    [hadoop@master-hadoophadoop-2.4.1]$ bin/hdfs dfs -text /out1/part-r-00000

    hadoop 2

    hdfs   1

    hello  1


    http://master-hadoop.dragon.org:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=/&nnaddr=192.168.23.128:9000


    源文件


    输出文件



    查看统计单词的个数



    停止dfs

    [hadoop@master-hadoop hadoop-2.4.1]$ sbin/stop-dfs.sh

    停止yarn

    [hadoop@master-hadoop hadoop-2.4.1]$ sbin/stop-yarn.sh

    停止jobhistory

    [hadoop@master-hadoop hadoop-2.4.1]$sbin/mr-jobhistory-daemon.sh stop historyserver








    展开全文
  • Hadoop运行wordcount示例

    2020-06-17 16:28:54
    2.使用HDFS运行WordCount程序 (1).在云端创建一个/data/input的文件夹结构 bin/hdfs dfs -mkdir -p /data/input (2).在本地创建一个test.txt touch test.txt (3).编辑test.txt文件,输入一些字符 nano test.txt 3....

    1.首先用hdfs namenode -format和start-all.sh启动Hadoop
    在这里插入图片描述
    2.使用HDFS运行WordCount程序
    (1).在云端创建一个/data/input的文件夹结构
    bin/hdfs dfs -mkdir -p /data/input
    (2).在本地创建一个test.txt
    touch test.txt
    (3).编辑test.txt文件,输入一些字符
    nano test.txt
    在这里插入图片描述
    3.把本地的test.txt文件上传到云端,由主机进行文件的分布式存储。
    bin/hdfs dfs -put test.txt /data/input在这里插入图片描述
    4.运行share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar这个java程序,调用wordcount方法:
    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /data/input/test.txt /data/out/test
    查看云端的/data/output/test/part-r-00000文件。
    bin/hdfs dfs -cat /data/out/test/part-r-00000
    在这里插入图片描述

    展开全文
  • 我想知道hosts没配置好,Hadoop是怎么撑到MR的… 现象:各种无法运行、启动 解决办法: 1、修改日志级别 export HADOOP_ROOT_LOGGER=DEBUG,console 查看下详细信息,定位到具体问题解决 第二种:服务器问题 **现象...

    第一种:配置问题

    日志信息
    这是别人的图片,据楼主排查解决是因为hosts配置问题???我想知道hosts没配置好,Hadoop是怎么撑到MR的…
    现象:各种无法运行、启动
    解决办法:
    1、修改日志级别
    export HADOOP_ROOT_LOGGER=DEBUG,console
    查看下详细信息,定位到具体问题解决

    第二种:服务器问题

    mapreduce
    **现象:**运行到job时卡住不动
    **原因:**服务器配置低下,内存小或磁盘小
    **解决办法:**修改yarn.site.xml配置

    <!--每个磁盘的磁盘利用率百分比-->
    <property>
        <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
        <value>95.0</value>
     </property>
     <!--集群内存-->
     <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
    </property>
     <!--调度程序最小值-分配-->
    <property>
       <name>yarn.scheduler.minimum-allocation-mb</name>
       <value>2048</value>
    </property>
     <!--比率,具体是啥比率还没查...-->
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
    </property>
    

    除了服务器集群配置低,也有可能是服务器被攻击或恶意程序占用内存Hadoop的MapReduce进程卡住job/云服务器被矿工挖矿

    戏剧的是,我今天还遇到一种情况…现象也是Map后卡在Job,原因是:我运行了计算圆周率程序,刚开始测试没问题后手贱执行1000次,掷10000次…Map过程还好,Job开始便无法运行…
    执行PI任务
    一看到false和FAILED的时候我还沉浸在跑通的余味当中…我猜想可能是太大了,所以重新换小的执行,

    hadoop jar ./hadoop-mapreduce-examples-2.7.3.jar pi 20 20
    

    结果还是卡着了…我当时就慌了…赶紧排查日志,面向百度编程,结果还是不行,但是我仔细一看,JobID为啥每次都是一样的?难道是还是卡在最开始的任务?我删除日志,重新启动Hadoop集群,又可以快乐运行了…

    展开全文
  • hadoop运行WordCount.jar

    2017-06-02 23:35:29
    配置好eclipse+hadoop开发环境后,接下来建立Map/Reduce工程,以wordCount为例 功能:统计文件中每个单词出现的次数并输出到指定的文件中 1、建立工程 在ubuntu中开启eclipse(eclipse中配置hadoop请参考 ...
  • 二、在根目录下编写一个wordcount.txt 文本 内容如下保存并退出。 三、在hdfs服务器上创建一个目录(/zwt/input)并把刚才的本地文件放进去 四、进入hadoop安装目录下的share/hadoop/mapreduce 目录 五、输入运行...
  • ubuntu下hadoop运行wordcount程序

    千次阅读 2014-03-06 13:02:16
    1、在Hadoop的解压目录的如下位置可以找到WordCount.java的源文件 src/examples/org/apache/hadoop/examples/WordCount.java 新建一个wordcount的文件夹,将WordCount.java拷贝至dev/wordcount文件
  • 使用hadoop实现WordCount详细实验报告,配有环境变量配置截图以及实验运行及结果详细过程描述与截图
  • 在前面我们已经搭建出来了Hadoop的开发环境,又实现了Eclipse插件的编译,现在我们就用使用Hadoop运行一下其自带的WordCount程序,以初步了解一些Hadoop是怎么运行的,我们采取两种方式运行这个小程序,首先是在...
  • #创建几个目录 hadoop fs -mkdir /user/ ...hadoop fs -mkdir /user/walle/wordcount #把本地文件拷贝到dfs里 hadoop dfs -copyFromLocal ./inputText.txt /user/walle/wordcount #运行,注意output3目录不用创建 ha...
  • 主要介绍了hadoopwordcount实例代码,分享了相关代码示例,小编觉得还是挺不错的,具有一定借鉴价值,需要的朋友可以参考下
  • hadoop wordcount 实验,成功运行 maven项目(全部源代码)
  • hadoop运行wordcount实例

    2012-05-30 15:40:07
    包含配置hadoop过程中遇到的一些问题的解决办法和成功运行wordcount实例的步骤
  • 使用IDEA直接运行Hadoop项目,有两种方式,分别是本地式:本地安装Hadoop+IDEA;远程式:远程部署Hadoop,本地安装IDEA并连接, 本文介绍第二种。 文章目录一、安装配置Hadoop(1)虚拟机伪分布式(2)云服务器分布式二...
  • 博客标题起的真别扭。。 :evil: 先说两点: 1.用cygwin伪分布式环境运行的。 ...运行WordCount示例遇到了两个问题: a. ***/work/tmp does not exist的问题 解决办法:配置conf/mapred-sit...
  • mkdir /test3 hdfs dfs -mkdir /test3/input 本地编辑一个文件 input.txt 随便写点内容 将input.txt上传至/test3/input hadoop fs -put input.txt /test3/input 运行 执行命令 hadoop jar wordcount.jar wordcount....
  • 三、Hadoop运行自带wordcount

    万次阅读 多人点赞 2018-08-13 20:44:29
    1.首先确认你的hadoop启动了。 master与slave启动方式相同,进入hadoop目录下的sbin目录,命令:$cd /home/hadoop/hadoop/sbin (根据个人安装的hadoop目录调整) 启动hadoop:(1)$./start-dfs.sh (2)$./start-yarn....
  • [atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3count /input /output9 运行结果: web结果: 解决方案 再运行: web结果 成功!!!!!!!
  • Hadoop 运行wordcount 实例

    千次阅读 2015-09-05 10:33:36
    操作步骤我在自己电脑上搭建的是hadoop伪分布式的配置,所以wordcount实例只是在一台机器上运行的。 在机器上,我的hadoop 安装目录时/usr/local/hadoop,这里我没有配置环境变量,因此是直接在目录下执行的,首先是...
  • java的wordcount代码图 ![图片说明]... hadoop执行wordcount结果,显示输入参数不是2个 Usage: wordcount <in> ![图片说明](https://img-ask.csdn.net/upload/201911/10/1573378135_729511.jpg)
  • 话不多说。 1、开启Hadoop服务 首先到Hadoop安装目录下的/sbin,然后运行./start-all.sh ...当看到上面六个服务说明已经正常...bin/hadoop fs -mkdir -p /test/wordcount #创建一个test/wordcount文件目录 ...
  • Hadoop运行WordCount

    2017-03-26 21:53:34
    执行如下命令:(输入输出文件都在hdfs)root@yanchao-PowerEdge-R720:/project/software/hadoop-2.6.2# bin/hadoop jar /project/software/hadoop-2.6.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-
  • hadoop集群运行wordcount步骤

    千次阅读 2017-03-02 15:11:24
    1:准备工作安装配置hadoop集群 2:开启hadoop集群 命令start-all.sh也可以用start-dfs.sh和start-yarn.sh两条命令来完成 3:创建需要给单词计数的文件 eg:mkdir /aaa 然后建立这个文件 vim aaa/inputword ...
  • hadoop运行wordcount时卡住不动

    千次阅读 2019-09-19 09:04:45
    hadoop运行wordcount时卡住不动 解决方案: 首先保证各个节点和namenode配置一致,以及hosts中的ip要设置好,ip修改后记得使用source命令或者重启使其生效,启动hadoop后要使其离开安全模式, bin/hadoop ...
  • hadoop运行WordCount实例

    2013-04-24 14:59:32
    创建文件夹   1.创建文件夹"file"。  2.进入file文件夹,创建两个文本文件file1.txt和file2.txt,使...Hello World",而file2.txt的内容为"Hello Hadoop"...在集群上运行WordCount程序 ...
  • 1 hadoop文件上传和脚本 提示:本人默认的Hadoop装在/usr/lib/hadoop 目录下. 1 在hdfs上创建目录/input hadoop fs -mkdir /input 2 在本地创建目录/home/temp mkdir /home/yuz 3 在目录/home/temp里面创建文本...
  • hadoop运行wordcount无反应

    千次阅读 2012-02-23 16:24:55
    在主节点上执行“hadoop jar ../hadoop-0.20.2-examples.jar wordcount /tmp/input /tmp/output”后一直无反应 像“hadoop fs -ls /tmp”之类的命令没有问题,能够对hdfs进行操作 集群中namenode和datanode的...
  • Mac在hadoop3.1.1上运行WordCount例子

    千次阅读 2018-12-13 11:23:48
    搭建好了Hadoop以后,用一个大家都常用的WordCount例子来试一试。 下面是WordCount的代码: import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; ...
  • 运行wordcount案例的时候总是卡住,查了一圈,有说把mapred-site.xml中 <name>mapreduce.framework.name</name> <value>yarn</value> 这一条删除的,但是删除了相当于仅仅在本机上运行,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 28,530
精华内容 11,412
关键字:

hadoop运行wordcount