记录如何将本地文件上传至HDFS中

前提是已经启动了hadoop成功(nodedate都成功启动)

①先切换到HDFS用户

②创建一个input文件夹

zhangsf@hadoop1:~$ hdfs dfs -mkdir /input

查看创建的文件夹在 hadoop1:50070中查看(我自己的对应的是：  http://192.168.5.130:50070)

③将本地文件上传到HDFS，前面为 服务器中的文件路径，后面为HDFS中路径

zhangsf@hadoop1:~$ hdfs dfs -put /home/zhangsf/aaa.txt /input

zhangsf@hadoop1:~$ hdfs dfs -ls /input

Found 1 items

-rw-r--r-- 2 zhangsf supergroup 89 2018-06-12 06:03 /input/aaa.txt

其中 aaa.txt 是本地文件

zhangsf@hadoop1:~$ ls

aaa.txt data hadoop hadoop2 opt package

zhangsf@hadoop1:~$ pwd

/home/zhangsf

查看自己上传成功了，也可以进入hadoop1:7077的

Browse Directory中查看

查看

上传成功ok！

方法二： 使用moveFromLocal指令

zhangsf@hadoop1:~$ hadoop fs -moveFromLocal aaa.txt /data

在linux下一般用scp这个命令来通过ssh传输文件。

1、从服务器上下载文件

scp username@servername:/path/filename /var/www/local_dir(本地目录)

例如scp root@192.168.0.101:/var/www/test.txt 把192.168.0.101上的/var/www/test.txt 的文件下载到/var/www/local_dir(本地目录)

2、上传本地文件到服务器

scp /path/filename username@servername:/path

例如scp /var/www/test.php root@192.168.0.101:/var/www/ 把本机/var/www/目录下的test.php文件上传到192.168.0.101这台服务器上的/var/www/目录中

3、从服务器下载整个目录

scp -r username@servername:/var/www/remote_dir/(远程目录) /var/www/local_dir(本地目录)

例如:scp -r root@192.168.0.101:/var/www/test /var/www/

4、上传目录到服务器

scp -r local_dir username@servername:remote_dir

例如：scp -r test root@192.168.0.101:/var/www/ 把当前目录下的test目录上传到服务器的/var/www/ 目录

注：目标服务器要开启写入权限。