精华内容
下载资源
问答
  • hadoop运行jar包命令
    千次阅读
    2022-04-03 12:40:18

    hadoop jar jar包路径 入口类全路径

    如:hadoop jar /opt/software/mapreducedemo-1.0-SNAPSHOT.jar com.mr.airSort.AIrRunJob

    更多相关内容
  • 通过Hadoop命令执行jar包

    千次阅读 2020-12-21 11:43:44
    然后通过hadoop命令运行jar包。 具体命令如下所示: hadoop fs jar xxxx.jar(jar包存放的路径) xxx(类路径名) 需要注意的是,用此种方式运行jar包时,jar包不是放在hadoop集群的,而是在linux上,因此路径也是...

    通常在编写MapReduce程序之后,都是把本地的java文件打包成jar包,然后放在linux集群上,通过hadoop命令来运行该jar包。

    具体命令如下所示:

    hadoop fs jar xxxx.jar(jar包存放的路径) xxx(类路径名)
    

    需要注意的是,用此种方式运行jar包时,jar包不是放在hadoop集群的,而是在linux上,因此路径也是linux文件系统中的路径。而类路径,是指你要执行的包含main函数的主类,该类名一定要写全名,如org.example.BillComputing.Driver。

    展开全文
  • 使用hadoop jar 命令运行jar包: ./bin/hadoop jar ./myapp/HDFSExample.jar 使用linux命令运行jar包 java -jar /myapp/HDFSExample.jar
    1. 使用hadoop jar 命令运行jar包:
    ./bin/hadoop jar  ./myapp/HDFSExample.jar
    
    1. 使用linux命令运行jar包
    java -jar /myapp/HDFSExample.jar
    
    展开全文
  • 1)首先启动hadoop2个进程,进入hadoop/sbin目录下,依次启动如下命令 [root@node02 sbin]# pwd /usr/server/hadoop/hadoop-2.7.0/sbin start-dfs.sh start-yarn.sh jps 2)通过jps查看是否正确启动,确保启动如下...

    1)首先启动hadoop2个进程,进入hadoop/sbin目录下,依次启动如下命令

    [root@node02 sbin]# pwd
    /usr/server/hadoop/hadoop-2.7.0/sbin
    
    sh start-dfs.sh
    sh start-yarn.sh
    jps
    

    2)通过jps查看是否正确启动,确保启动如下6个程序

    [root@node02 sbin]# jps
    10096 DataNode
    6952 NodeManager
    9962 NameNode
    10269 SecondaryNameNode
    12526 Jps
    6670 ResourceManager
    

    3)如果启动带有文件的话,将文件加入到hdfs 的 /input下,如果出现如下错误的话,

    [root@node02 hadoop-2.7.0]# hadoop fs -put sample.txt /input
    21/01/02 01:13:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for atform... using builtin-java classes where applicable
    

    在环境变量中添加如下字段

    [root@node02 ~]# vim /etc/profile
    
    export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
    

    4)进入到hadoop根目录,根据存放位置决定

    [root@node02 hadoop-2.7.0]# pwd
    /usr/server/hadoop/hadoop-2.7.0
    

    5)新建hadoop hdfs 文件系统上的 /input 文件夹(用于存放输入文件)

    hadoop fs -mkdir /input
    

    6)传入测试文件,测试文件需要自己上传到根目录下(仅供测试,生产环境下存放到指定目录)

    [root@node02 hadoop-2.7.0]# hadoop fs -put sample.txt /input
    

    7)查看传入文件是否存在

    [root@node02 hadoop-2.7.0]# hadoop fs -ls /input
    -rw-r--r--   1 root supergroup        529 2021-01-02 01:13 /input/sample.txt
    

    8)上传jar包到根目录下(生产环境下,放入指定目录下),测试jar包为study_demo.jar

    [root@node02 hadoop-2.7.0]# ll
    总用量 1968
    drwxr-xr-x. 2 10021 10021    4096 411 2015 bin
    drwxr-xr-x. 3 10021 10021    4096 411 2015 etc
    drwxr-xr-x. 2 10021 10021    4096 411 2015 include
    drwxr-xr-x. 3 10021 10021    4096 411 2015 lib
    drwxr-xr-x. 2 10021 10021    4096 411 2015 libexec
    -rw-r--r--. 1 10021 10021   15429 411 2015 LICENSE.txt
    drwxr-xr-x. 3 root  root     4096 12 01:36 logs
    -rw-r--r--. 1 10021 10021     101 411 2015 NOTICE.txt
    -rw-r--r--. 1 10021 10021    1366 411 2015 README.txt
    drwxr-xr-x. 2 10021 10021    4096 411 2015 sbin
    drwxr-xr-x. 4 10021 10021    4096 411 2015 share
    -rw-r--r--. 1 root  root  1956989 614 2021 study_demo.jar
    

    9)使用hadoop 运行 java jar包,Main函数一定要加上全限定类名

    hadoop jar study_demo.jar com.ncst.hadoop.MaxTemperature /input/sample.txt /output
    

    10)运行结果缩略图

    21/01/02 01:37:54 INFO mapreduce.Job: Counters: 49
    	File System Counters
    		FILE: Number of bytes read=61
    		FILE: Number of bytes written=342877
    		FILE: Number of read operations=0
    		FILE: Number of large read operations=0
    		FILE: Number of write operations=0
    		HDFS: Number of bytes read=974
    		HDFS: Number of bytes written=17
    		HDFS: Number of read operations=9
    		HDFS: Number of large read operations=0
    		HDFS: Number of write operations=2
    	Job Counters 
    		Launched map tasks=2
    		Launched reduce tasks=1
    		Data-local map tasks=2
    		Total time spent by all maps in occupied slots (ms)=14668
    		Total time spent by all reduces in occupied slots (ms)=4352
    		Total time spent by all map tasks (ms)=14668
    		Total time spent by all reduce tasks (ms)=4352
    		Total vcore-seconds taken by all map tasks=14668
    		Total vcore-seconds taken by all reduce tasks=4352
    		Total megabyte-seconds taken by all map tasks=15020032
    		Total megabyte-seconds taken by all reduce tasks=4456448
    	Map-Reduce Framework
    		Map input records=5
    		Map output records=5
    		Map output bytes=45
    		Map output materialized bytes=67
    		Input split bytes=180
    		Combine input records=0
    		Combine output records=0
    		Reduce input groups=2
    		Reduce shuffle bytes=67
    		Reduce input records=5
    		Reduce output records=2
    		Spilled Records=10
    		Shuffled Maps =2
    		Failed Shuffles=0
    		Merged Map outputs=2
    		GC time elapsed (ms)=525
    		CPU time spent (ms)=2510
    		Physical memory (bytes) snapshot=641490944
    		Virtual memory (bytes) snapshot=6241415168
    		Total committed heap usage (bytes)=476053504
    	Shuffle Errors
    		BAD_ID=0
    		CONNECTION=0
    		IO_ERROR=0
    		WRONG_LENGTH=0
    		WRONG_MAP=0
    		WRONG_REDUCE=0
    	File Input Format Counters 
    		Bytes Read=794
    	File Output Format Counters 
    		Bytes Written=17
    

    10)运行成功后执行命令查看,此时多出一个 /output 文件夹

    [root@node02 hadoop-2.7.0]# hadoop fs -ls /
    drwxr-xr-x   - root supergroup          0 2021-01-02 01:13 /input
    drwxr-xr-x   - root supergroup          0 2021-01-02 01:37 /output
    drwx------   - root supergroup          0 2021-01-02 01:37 /tmp
    

    11)查看 /output文件夹的文件

    [root@node02 hadoop-2.7.0]# hadoop fs -ls /output
    -rw-r--r--   1 root supergroup          0 2021-01-02 01:37 /output/_SUCCESS
    -rw-r--r--   1 root supergroup         17 2021-01-02 01:37 /output/part-00000
    

    12)查看part-r-00000 文件夹中的内容,我这个测试用例用来获取1949年和1950年的最高气温(华氏度)

    [root@node02 hadoop-2.7.0]# hadoop fs -cat /output/part-00000
    1949	111
    1950	22
    

    13)在浏览器端访问端口可以观看可视化界面,对应的是hadoop服务器地址和自己设置的端口,通过可视化界面查看input文件夹面刚刚上传的sample.txt文件
    http://192.168.194.XXX:50070/
    在这里插入图片描述
    14)测试程序jar包和测试文件已上传到github上面,此目录有面经和我自己总结的面试题

    GitHub
    如有兴趣的同学也可以查阅我的秒杀系统
    秒杀系统

    展开全文
  • hadoop运行jar命令

    千次阅读 2015-03-19 11:35:43
    hadoop运行jar包hadoop jar x.jar ×××.MainClassName inputPath outputPath x.jar的名称,包括路径,直接写包名称,则为默认路径 ×××.MainClassName为运行的类名称 in
  • 运行hadoop jar

    2019-04-04 01:18:10
    NULL 博文链接:https://byx5185.iteye.com/blog/1490172
  • 大数据:hadoopjar包的使用出现的错误,jar包的用法。错误提示:java.lang.NumberFormatException: For input string: "/output" 问题比较简单,也就是一个使用格式问题,不过我还是建议你看 完文章,确定按照我的...
  • 如何在hadoop运行jar文件?

    千次阅读 2021-03-07 22:46:35
    我使用以下语句使用this blog中的java文件创建了一个jar文件javac -classpath /usr/local/hadoop/hadoop-core-1.0.3.jar -d / home / hduser / dir Dictionary.java/usr/lib/jvm/jdk1.7.0_07/bin/jar cf Dictionary....
  • 使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地)Hadoop入门配置系列博客目录一览1、Eclipse中使用Hadoop伪分布...
  • [root@master local] # hadoop jar hdfstest.jar WordCount /input /output 报错:Exception in thread “main” org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/...
  • 使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地)Hadoop入门配置系列博客目录一览1、Eclipse中使用Hadoop伪分布...
  • 在之前一篇:Eclipse中使用Hadoop单机模式开发配置及简单程序示例,我们讲了如何在eclipse配置文件信息以及如何执行Map/Reduce程序,本篇基于这篇文章的代码总结一下使用hadoop命令行执行jar包的流程,主要包括生成...
  • 启动Hadoop过程中遇到的namenode节点启动失败的问题:(logs中的namenode日志中报错txid启动错误) ——>原因: Hadoop NN中的元数据包括: fsimage:包含某个时间点的文件系统的完整状态 edit logs:包含在最近的...
  • 起初一直以为是导出的jar包有问题,百度了很久也没找到解决办法,最后终于让我找到了有用的解决办法。 在 yarn-site.xml中添加 <property> <name>yarn.nodemanager.resource.memory-mb</name> ...
  • https://blog.csdn.net/jiaotangX/article/details/78661862 https://liushilang.iteye.com/blog/2093173 转载于:https://www.cnblogs.com/SuMeng/p/10259041.html
  • 一、Eclipse中生成jar包 使用[Eclipse中使用Hadoop单机模式开发配置及简单程序示例](http://blog.csdn.net/quiet_girl/article/details/74001759) 的MaxTemperature项目的代码,代码写完之后,将其打...
  • hadoop集群中jar包的编辑or执行 jar入门篇 前提: hadoop集群已经搭建成功,并启动hadoop 启动hadoop命令:start-all.sh 在所有节点上添加环境变量CLASSPATH export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)...
  • 一般来说hadoop命令执行jar包需要在hadoop的bin路径下执行命令如下:./hadoop jar xx.jar mainclassname inputpath outputpath对于XX.jar包中本身编译需要外部jar的情况,则需要在封装成xx.jar时候把所有外部jar...
  • -cp 和 -classpath 一样,是指定类运行所依赖其他类的路径,通常是类库,jar包之类,需要全路径到jar包,window上分号“;”java -cp .;myClass.jar packname.mainclassnameclasspath中的jar文件能使用通配符,如果是...
  • 将idea项目打包在集群运行
  • 问题如下图:一直在尝试连接...... 原因:ResourceManager 没有开启 执行jps命令看下便知。 解决: 确认分布式集群节点全部开启 确认所有服务开启(jps命令查看) ...
  • 我们通常可以用hadoop jar来提交自己的jar包 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.2-sources.jar org.apache.hadoop.examples.WordCount /user/root/input /user...
  • (1) 用户提交jar包,向resourceManager请求提交任务 (2) resourceManager接收任务,并随机选择一台nadeManager启动appMaster. (3) appMaster向resourceManager请求资源 (4) resourceManager分配资源,并将...
  • hadoop jar 命令 执行MapReduce 任务

    千次阅读 2020-08-24 17:24:08
    hadoop jar命令调用的java类地址 #hadoop jar 短命令格式 hadoop jar 要执行的jar执行的任务名 输入目录 输出目录 #hadoop jar 长命令格式 hadoop jar 要执行的jar执行的类全名 [要执行的任务名] ...
  • 提交jar包执行时连接失败异常或连接被拒绝 错误提示为: Exception in thread &amp;quot;main&amp;quot; java.net.ConnectException: Call From mini02/192.168.91.4 to mini02:8032 failed on ...
  • I am trying to run an hadoop jar command from JAVA using Runtime.exec.Below is the sample code:Runtime.getRuntime().exec(new String[]{"bin/hadoop", "jar /home/hadoop/jar/test.jar /user/hduser/myinput/...
  • linux中hadoop 执行jar包

    千次阅读 2017-04-25 21:36:54
    1.执行MR的命令:  hadoop jar  例子:  hadoop jar /root/wc1.jar cn.itcast.d3.hadoop.mr.WordCount hdfs://itcast:9000/words /out2
  • -cp 和 -classpath 一样,是指定类运行所依赖其他类的路径,通常是类库,jar包之类,需要全路径到jar包,window上分号“;”java -cp .;myClass.jar packname.mainclassnameclasspath中的jar文件能使用通配符,如果是...
  • Hadoop实例学习(五)打jar包

    千次阅读 2020-10-27 20:01:57
    目录添加pom.xml依赖开始打包上传至hadoop集群并运行改名并上传上传至Hadoop中测试jar包 添加pom.xml依赖 在之前写好的wordcount的maven项目下添加依赖 <!--打包所需的依赖--> <build> <plugins...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 56,234
精华内容 22,493
关键字:

hadoop运行jar包命令

友情链接: DS1820.rar