hadoop流调用的shell中不能使用hadoop命令

夜月升 2012-06-01 06:57:04

我用的命令是hadoop jar contrib/streaming/hadoop-streaming-1.0.0.jar -input input -output output -mapper /bin/cat -file test.sh -reducer test.sh
shell脚本test.sh:
#!/bin/bash
hadoop fs -get input/1.avi ~/hadoop-1.0.0/tmp/1.avi
错误信息是：
12/06/01 16:31:25 ERROR streaming.StreamJob: Job not successful. Error: # of failed Reduce Tasks exceeded allowed limit. FailedCount: 1. LastFailedTask: task_201206011340_0024_r_000000
12/06/01 16:31:25 INFO streaming.StreamJob: killJob...
Streaming Job Failed!

...全文

1196 6 打赏收藏转发到动态举报

写回复

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

xiaobudiudiu 2014-08-12

打赏
举报

回复

引用 4 楼 x_h_j123 的回复:

经过煎熬解决了一些问题，不能识别hadoop命令，需要在shell脚本中export hadoop的环境变量

需要设置什么环境啊。是HADOOP_HOME吗

cys13579 2012-06-12

打赏
举报

回复

恩呢很好啊

夜月升 2012-06-11

打赏
举报

回复

经过煎熬解决了一些问题，不能识别hadoop命令，需要在shell脚本中export hadoop的环境变量

夜月升 2012-06-04

打赏
举报

回复

按照您说得看了看错误，还是不知道问题在哪，本人hadoop新手，帮忙看下这是什么问题？
java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 255
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:311)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:545)
at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:132)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1083)
at org.apache.hadoop.mapred.Child.main(Child.java:249)

夜月升 2012-06-03

打赏
举报

回复

总算有人回复了。
就是因为在reduce.sh中调用了hadoop fs -get这样的命令，如果换做grep或cat什么的没问题，
reduce任务的返值回不是0，hadoop默认会尝试四次，四次之后就报出整个任务失败，
有没有在shell脚本里调用hadoop的命令的经验，该怎么解决呢？求指教

nextuser 2012-06-03

打赏
举报

回复

有个reduce任务挂了,你可以上jobtracker的web控制台看具体故障堆栈 http://jobmaster:port ,port大概是50070 或50030端口

我们在shell脚本中可能会用到hadoop或者其他命令，而这些命令可能是一个整体，如果我们只是简单的写入到shell脚本中，可能会被分解成其他的各个子字段，即有可能会分成两部分去执行，这样就会导致命令执行失败。 hadoop fs -get /XXXXXX 上面这个就会分成hadoop fs 和get两部分这样就执行不成功了所以在shell脚本中应该用反引号“括起来，注意这个事反引号不

调用文件系统(FS)Shell命令使用 hadoop fs <args>形式。所有的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path 对于HDFS文件系统，scheme是hdfs，对于本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:name

1.调用Hadoop的文件系统Shell（FileSystem Shell）的命令格式：语法：hadoop fs <args>：前提是位置位于hadoop/bin下，其中fs是参数，表示FS Shell，<args>是fs的子命令2.使用FS Shell命令行管理文件：mkdir -创建目录语法：hadoop fs -mkdir <paths> 例子： had...

其有很多命令，但在生产环境中我们经常使用的命令并没有那么多，因此需要时再回头查阅上图中的命令即可。put命令和copyFromLocal命令有着相同的复制效果，所以我们。这里我们把3台服务器各自对应的节点都打开了，为了方便后续测试。在使用shell命令前，一定要确保我们的Hadoop。自由选择以上任意一种语法格式。跳转到Web端的HDFS，处于。

FS Shell调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个...

Hadoop生态社区

20,846

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章