精华内容
下载资源
问答
  •   &...修改本地临时文件存储目录及Hadoop配置文件说明 1、 修改本地临时文件存储目录 1.1、停止进程 [admin@hadoop12 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager

                 修改本地临时文件存储目录及Hadoop配置文件说明

    1、 修改本地临时文件存储目录

    1.1、停止进程

    [admin@hadoop12 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
    [admin@hadoop12 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager
    [admin@hadoop12 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode
    [admin@hadoop12 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop namenode
    

    1.2、修改hadoop.tmp.dir

    [admin@hadoop12 hadoop-2.7.2]$ vim etc/hadoop/core-site.xml
    

    在< configuration>< /configuration>标签下添加如下:

    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
    	<name>hadoop.tmp.dir</name>
    	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>
    

    1.3、将/opt/module/hadoop-2.7.2路径中的logs、data文件夹删除掉

    [admin@hadoop12 hadoop-2.7.2]$ rm -rf logs/
    [admin@hadoop12 hadoop-2.7.2]$ rm -rf data/
    

    1.4、进入到tmp目录将tmp目录中hadoop-atguigu目录删除掉

    [admin@hadoop12 hadoop-2.7.2]$  rm -rf /tmp/hadoop*
    

    1.5、格式化NameNode

    [admin@hadoop12 hadoop-2.7.2]$  hadoop namenode -format
    

    1.6、启动所有进程

    [admin@hadoop12 hadoop-2.7.2]$  sbin/hadoop-daemon.sh start namenode
    [admin@hadoop12 hadoop-2.7.2]$  sbin/hadoop-daemon.sh start datanode
    [admin@hadoop12 hadoop-2.7.2]$  sbin/yarn-daemon.sh start resourcemanager
    [admin@hadoop12 hadoop-2.7.2]$  sbin/yarn-daemon.sh start nodemanager
    

    查看/opt/module/hadoop-2.7.2/data/tmp这个目录下的内容。

    2、Hadoop配置文件说明

    Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。

    2.1、默认配置文件

    存放在hadoop相应的jar包中:存放在$HADOOP_HOME/share/hadoop

    [core-default.xml]
    			hadoop-common-2.7.2.jar/ core-default.xml
    [hdfs-default.xml]
    			hadoop-hdfs-2.7.2.jar/ hdfs-default.xml
    [yarn-default.xml]
    			hadoop-yarn-common-2.7.2.jar/ yarn-default.xml
    [core-default.xml]
    			hadoop-mapreduce-client-core-2.7.2.jar/ core-default.xml
    

    2.2自定义配置文件

    存放在$HADOOP_HOME/etc/hadoop

    	    core-site.xml
    		hdfs-site.xml
    		yarn-site.xml
    		mapred-site.xml
    
    展开全文
  • -- 指定hadoop运行时产生文件的存储目录 --> <name>hadoop.tmp.dir <value>/opt/module/hadoop-2.8.2/data/tmp 3、将/opt/module/hadoop-2.8.2路径中的logs文件夹删除掉 [victor@node1 hadoop-2.8.2]$ ...

    1、停止进程,按照顺序停止

    [victor@node1 hadoop-2.8.2]$ sbin/yarn-daemon.sh stop nodemanager
    [victor@node1 hadoop-2.8.2]$ sbin/yarn-daemon.sh stop resourcemanager
    [victor@node1 hadoop-2.8.2]$ sbin/hadoop-daemon.sh stop datanode
    [victor@node1 hadoop-2.8.2]$ sbin/hadoop-daemon.sh stop namenode
    

    2、修改core-site.xml

    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/module/hadoop-2.8.2/data/tmp</value>
    </property>
    

    3、将/opt/module/hadoop-2.8.2路径中的logs文件夹删除掉

    [victor@node1 hadoop-2.8.2]$ rm -rf logs/
    

    4、进入到tmp目录将tmp目录中hadoop-victor目录删除掉

    [victor@node1 tmp]$ rm -rf hadoop-victor/
    

    5、格式化NameNode

    [victor@node1 hadoop-2.8.2]$ hadoop namenode -format
    

    6、启动所有进程

    [victor@node1 hadoop-2.8.2]$ sbin/hadoop-daemon.sh start namenode
    [victor@node1 hadoop-2.8.2]$ sbin/hadoop-daemon.sh start datanode
    [victor@node1 hadoop-2.8.2]$ sbin/yarn-daemon.sh start resourcemanager
    [victor@node1 hadoop-2.8.2]$ sbin/yarn-daemon.sh start nodemanager
    注:查看/opt/module/hadoop-2.8.2/data/tmp 目录下文件
    
    展开全文
  • 4.6 使用临时文件  Linux系统保留了一个特殊的目录位置,以供临时文件使用。Linux使用/tmp目录处理不需要永久保存的文件。大部分Linux发行版的系统配置都是在启动时自动删除/tmp目录中的任何文件。  系统上的...

    4.6 使用临时文件

             Linux系统保留了一个特殊的目录位置,以供临时文件使用。Linux使用/tmp目录处理不需要永久保存的文件。大部分Linux发行版的系统配置都是在启动时自动删除/tmp目录中的任何文件。

             系统上的任何用户账户都有读取和写入/tmp目录中的文件的权限。该特性可以帮助用户轻松创建临时文件,而无需担心它们的清理问题。创建临时文件:mktemp命令可以轻松在/tmp文件夹中创建一个唯一的临时文件。shell创建该文件但是不使用默认的umask值。相反,它仅向文件所有者分配读取和写入权限,并使用户成为文件的所有者。创建文件之后,可以脚本对文件进行完整权限的读取和写入,但其他人都不能访问它。

    4.6.1 创建本地临时文件

             默认情况下,mktemp在本地目录创建文件。要使用mktemp命令在本地目录中创建临时文件,只需要指定一个文件名即可。模块包括文本文件以及附加到文件名后的6个XXXXXX。mktemp命令使用一个6字符代码替换6个XXXXXX,以确保文件名在目录中的唯一性

            

             可以创建多个临时文件,每个文件确保是唯一的。可以看出,mktemp命令的输出是它们创建的文件的名称。在脚本中使用mktemp命令时,需要使用一个变量保存该文件名,以便稍后再脚本中引用。        

    #!/bin/bash
    #创建临时文件,然后对临时文件进行读写
    tempfile=`mktemp test.XXXXXX`
    #创建文件输出描述符号
    exec 3>$tempfile
    echo "对临时文件$tempfile进行写操作"
    #对临时文件进行写操作
    echo  "      《静夜诗》" >&3
    echo  "            李白" >&3
    echo "床前明月光,疑是地上霜。" >&3
    echo "举头望明月,低头思故乡!" >&3
    #关闭文件输出描述符
    exec 3>&-
    echo "临时文件的内容"
    #创建文件输出描述符号
    exec 3<$tempfile
    count=1
    #对临时文件进行读操作
    while read line <&3
    do
        echo "第$count行:$line"
        count=$[ $count +1 ]
    done
    #关闭文件输出描述符
    exec 3<&-
    echo "删除临时文件:$tempfile,禁止错误信息的输出!"
    rm -rf $tempfile 2>/dev/null

             该脚本使用mktemp命令创建一个临时文件,并将文件名分配给$tempfile变量。然后使用临时文件作为文件描述符3的输出重定向文件。然后关闭临时文件输出描述符。然后创建临时文件输入描述符3,对临时文件进行读取。读取完成然后关闭文件输入描述符。最后,使用rm命令删除创建的临时文件并禁止错误信息输出!

    4.6.2 在/temp中创建临时文件

             -t选项强迫mktemp在系统的/temp文件夹中创建临时文件。但使用该选项时,mktemp命令返回用于创建临时文件的完整路径名,而不是文件名。由于mktemp命令返回完整路径名,因此可以从Linux系统的任何目录引用临时文件,无论系统将临时目录放在哪个位置。   

    #!/bin/bash
    #在/tmp路径下创建一个临时文件
    tempfile=`mktemp -t tmp.XXXXXX`
    #向临时文件中写入数据
    echo "This is a tmp file">$tempfile
    #向临时文件追加数据,不覆盖原有数据
    for (( i=1;i<=9;i++ ))
    do
      for(( j=1;j<=9;j++))
       do
    	[ $j -le $i ]  && echo -n "$i * $j= $[ $i * $j ] "
       done
       echo " "
    done >>$tempfile
    
    echo "临时文件$tempfile位于:$tempfile"
    filename=`basename $tempfile`
    echo $filename
    echo "显示临时文件中的内容"
    cat $tempfile
    rm -rf $tempfile 2>/dev/null
          

    4.6.3 创建临时目录

             -d选项让mktemp命令创建一个临时目录而不是一个文件。 

    4.6.4 记录消息

             有时候有必要将输出同时发送到监视器和日志文件。这种情况下不需要使用两次重定向,只需要使用特殊命令tee命令即可。

             tee命令就像管道的T型接头。它将STDIN的数据同时发送到两个目的地一个是STDOUT,另一个是tee命令指定的文件名tee filename。

             由于tee重定向来自STDIN的数据,因此可以与管道命令配置使用重定向任何命令的输出。默认情况下,tee命令每次使用时都会覆盖输出文件。如果希望向文件添加数据,必须使用-a选项。使用这种技术,可以将数据保存在文件中,同时将数据显示在监视器上供用户查看。tee命令参数:

            

             tee操作实例:        

    #!/bin/bash
    #创建一个临时文件
    tempfile=`mktemp  tmp.XXXXXX`
    
    #在显示屏上输出信息,同时把信息输出到临时文件
    echo "This is a tmp file"| tee $tempfile
    
    #在显示屏上输出信息,同时把信息输出到临时文件
    #且不覆盖原有的数据
    echo "Hello ,ewang!" | tee -a $tempfile
    echo "What can I do for you?" | tee -a $tempfile
    echo "临时文件名:$tempfile"
    
    #显示临时文件中的内容
    echo "显示临时文件中的内容"
    cat $tempfile
    #删除临时文件并不输出错误信息
    rm -rf $tempfile 2>/dev/null

             即可以永久保存输出副本的同时,也能将输出结果显示给用户。

    展开全文
  • 示例为从HDFS下载文件到本地临时文件 启动springboot项目 客户端访问 传入需要的参数 返回了临时文件的路径,到指定路径查看 End

    示例为从HDFS下载文件到本地临时文件

    启动springboot项目

    客户端访问 传入需要的参数

    返回了临时文件的路径,到指定路径查看

    End

    展开全文
  • Hadoop优化清理本地temp临时文件方式

    千次阅读 2016-01-07 09:13:12
    当launch一个job到hadoop 集群,hadoop集群中的 TaskTracker(TT),在从一次heartbeat中接收到 JobTracker... 运行完成后,总是会或多或少的产生一些中间结果,或者jobCache的数据,这些数据通常都需要向TT的本地文件
  • 当用户登录时出现:windows 找不到本地配置文件,用临时配置文件让您登录。登录后原来桌面文件丢失,那是因为此用户的配置文件被损坏,需要重新建立。可以先用其他管理用户登录,如果没有,新建一个管理用户。用其他...
  • git 临时忽略本地文件

    2013-10-29 15:44:04
    文件在仓库中存在,但是不想每次修改后就提交(这样的文件一般是与本机开发环境相关的文件),可以这样操作: 1. 打开.git/config文件 2. 增加  [alias] ignore = update-index --assume-unchanged unignore =...
  • 推荐:《PHP教程》php删除文件夹(临时文件)代码我们有时候需要删除刚生成的临时文件,比如上传图片或者生成图片的时候,我们需要现在本地存储起来,然后再上传到图片服务器。当图片上传到服务器之后,那本地存储的...
  •  // 创建临时文件  File zipFile = File.createTempFile(dateNow+"_"+id, ".zip");  FileOutputStream f = new FileOutputStream(zipFile);  /**  * 作用是为任何OutputStream产生校验和  * 第一个参数是...
  • 第一步 新建 目录[root@localhost ~]# cd...[root@localhost mnt]# mkdir yum第二步 把iso文件挂载到一个新建的目录下mount -o loop -t iso9660 CentOS-6.8-x86_64-bin-DVD1.iso yum/第三步 编辑repo文件[root@localhos
  • 问题分析:如果调用copyfile接口使用的源文件是临时文件,则该接口目前不支持此场景,需要使用save接口先将临时文件保存到本地,然后再调用copyfile接口。解决方法:var fileSystemManager = hbs.getFileSyst...
  • 再通过Java代码从Kafka的Topic中获取数据临时保存到本地文件中,再将本地文件上传到HDFS上 1.虚拟机启动 zookeeper、Kafka。 2.在启动一个生产者、一个消费者。 注:脚本文件:/root/log [root@hdp-1 log]# ./...
  • 由于在maven仓库中没有jave-1.0.2.jar这个jar,所以需要自己去下载到本地 微云地址:https://share.weiyun.com/5epeWn5 点击可直接快速下载 2.将jave-1.0.2.jar这个jar包引入到项目中,放在项目的src/main/...
  • 1.临时素材有效期 media_id是可复用的,同一个media_id可用于消息的多次发送(3天内有效) 2.上传文件时的http请求里都有啥 具体原理可参看:为什么上传文件的表单需要设置enctype="multipart/form-data"...
  • 临时数据文件

    2018-06-14 11:04:54
    本地管理的临时表空间使用临时数据文件,它与普通的数据文件相似,但以下情况除外: ...临时文件是稀疏文件,在创建或调整临时文件大小时,并不总是保证为指定的文件大小分配磁盘空间。在某些文件系统(例如U...
  • 1说明 在12.2中引入了一个新的概念“本地临时表空间”,而之前版本中的临时表空间则被称为“共享临时表空间...相反,本地临时表空间为每个数据库实例存储单独的、非共享的临时文件本地临时表空间对于Oracle Real...
  • 第二步:打开远程服务器在Mapping里面 Local path 为 本地项目的根目录 Deployment Path为远程项目的目录 ,填写完成之后在远程文件下会看到颜色已经变绿的文件夹,这样本地和远程的目录就映射起来了。 转载于:...
  • java 生成的临时pdf文件无法删除

    千次阅读 2018-11-27 20:31:52
    过程中需要把每个文件生成到本地临时文件,但是生成过后怎么也删除不了,估计有使用到的流没关闭,手动在文件夹中也无法删除,提示文件正在被占用,但是怎么查找代码也不知道哪里的流没关闭。  最后在循环中发现了...
  • }/*** @desc :微信上传素材的请求方法 * *@paramrequestUrl 微信上传临时素材的接口url *@paramfile 要上传的文件 *@returnString 上传成功后,微信服务器返回的消息*/ public staticString httpRequest(String ...
  •  1、查看用户、组、服务或计算机的SID值,可以使用“Whoami”工具来执行,该工具包含在Windows XP安装光盘的“Support\Tools”目录中,双击执行该目录下的“Setup”文件后,将会有包括Whoami工具在内的一系列命令行...
  • java 读写临时文件

    2020-10-13 18:08:26
    这种场景下,临时文件就很好的解决了这个问题。 单测 demo: package com.example.demo; import org.junit.jupiter.api.Test; import org.springframework.boot.test.context.SpringBootTest.
  • 首先这个问题是Hadoop本地临时文件没有合理删除导致的。(不知是否系hadoop的bug,因为据网上说法,hadoop应自动删除staging临时文件。浏览源码也没有删除逻辑。)因为Linux内核中对ext3文件系统的子目录个数是有...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,684
精华内容 1,073
关键字:

本地临时文件