精华内容
下载资源
问答
  •   &...修改本地临时文件存储目录及Hadoop配置文件说明 1、 修改本地临时文件存储目录 1.1、停止进程 [admin@hadoop12 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager

                 修改本地临时文件存储目录及Hadoop配置文件说明

    1、 修改本地临时文件存储目录

    1.1、停止进程

    [admin@hadoop12 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
    [admin@hadoop12 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager
    [admin@hadoop12 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode
    [admin@hadoop12 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop namenode
    

    1.2、修改hadoop.tmp.dir

    [admin@hadoop12 hadoop-2.7.2]$ vim etc/hadoop/core-site.xml
    

    在< configuration>< /configuration>标签下添加如下:

    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
    	<name>hadoop.tmp.dir</name>
    	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>
    

    1.3、将/opt/module/hadoop-2.7.2路径中的logs、data文件夹删除掉

    [admin@hadoop12 hadoop-2.7.2]$ rm -rf logs/
    [admin@hadoop12 hadoop-2.7.2]$ rm -rf data/
    

    1.4、进入到tmp目录将tmp目录中hadoop-atguigu目录删除掉

    [admin@hadoop12 hadoop-2.7.2]$  rm -rf /tmp/hadoop*
    

    1.5、格式化NameNode

    [admin@hadoop12 hadoop-2.7.2]$  hadoop namenode -format
    

    1.6、启动所有进程

    [admin@hadoop12 hadoop-2.7.2]$  sbin/hadoop-daemon.sh start namenode
    [admin@hadoop12 hadoop-2.7.2]$  sbin/hadoop-daemon.sh start datanode
    [admin@hadoop12 hadoop-2.7.2]$  sbin/yarn-daemon.sh start resourcemanager
    [admin@hadoop12 hadoop-2.7.2]$  sbin/yarn-daemon.sh start nodemanager
    

    查看/opt/module/hadoop-2.7.2/data/tmp这个目录下的内容。

    2、Hadoop配置文件说明

    Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。

    2.1、默认配置文件

    存放在hadoop相应的jar包中:存放在$HADOOP_HOME/share/hadoop

    [core-default.xml]
    			hadoop-common-2.7.2.jar/ core-default.xml
    [hdfs-default.xml]
    			hadoop-hdfs-2.7.2.jar/ hdfs-default.xml
    [yarn-default.xml]
    			hadoop-yarn-common-2.7.2.jar/ yarn-default.xml
    [core-default.xml]
    			hadoop-mapreduce-client-core-2.7.2.jar/ core-default.xml
    

    2.2自定义配置文件

    存放在$HADOOP_HOME/etc/hadoop

    	    core-site.xml
    		hdfs-site.xml
    		yarn-site.xml
    		mapred-site.xml
    
    展开全文
  • Java系列技术之JavaWeb入门

    万人学习 2018-09-18 19:34:36
    JavaWeb里的基础核心技术
  • 文章目录删除上传到服务器的临时文件前言说明正文目的背景代码第一种实现方式第二种实现方式测试结果 删除上传到服务器的临时文件 前言 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&...

    删除上传到服务器的临时文件

    前言

             此篇博文主要说明此前在解析excel文件中上传的excel文件进行一个处理。

    说明

    • 服务器
      resin服务器
    • 代码操作
      进行的代码实现全在jsp文件中
    • 用到File类
    引用 java.io.File
    
    • 工具
      eclipse

    正文

    目的

             删除上传到resin服务器的临时文件。

    背景

             通过查询JDK1.8说明文档,get到java.ioexists(),isFile(),delete()如下信息所示

    exists(): 检查文件或者目录是否存在这种抽象路径名
    结果: true当且仅当文件或目录用这种抽象的路径存在; false否则
    isFile(): 测试文件是否通过这种抽象路径名表示的是一种正常的文件。文件是正常的,如果它不是一个目录,此外,满足其他系统相关的标准。任何非目录文件的java应用程序创建的保证是一个普通的文件。
    结果 : true 当且仅当文件的抽象路径名表示存在,是一种正常的文件; false否则
    file.delete(): 删除文件或目录的路径名表示的抽象。如果这个路径表示目录,然后目录必须为空删除。
    结果 : true当且仅当文件或目录删除成功; false否则

    代码

    说明
             1:这里博主实现了两种方法进行为自己需求测试(也就是代码实现方式,编写代码方式不同罢了)
             2:具体的路径根据自己要删除的文件路径对待奥(路径自定义)

    第一种实现方式
    package ceshi;
    
    import java.io.File;
    
    public class ceshi2 {
    
    	  public static boolean deleteServerFile(String filePath, String fileName){
    	  boolean delete_flag = false;
    	  File file = new File(filePath + fileName);
    	  
    	 if (file.exists() && file.isFile() && file.delete()) {
    			System.out.println("\n符合条件");
    			delete_flag = true;
    
    		} else {
    			delete_flag = false;
    			System.out.println("\n不符合条件,无法删除指定文件");
    			 
    		}
    	    
    	    return delete_flag;
    	 
    	  }
    	  
    	  // 主方法
    	  public static void main(String[] args) {
    		  // 调用方法 
    		  deleteServerFile("D:/CSDN工作文件/测试/", "SumatraPDF路径.png");
    	}
    }
    
    第二种实现方式
    package ceshi;
    
    import java.io.File;
    
    public class ceshi {
    
    	public static void main(String[] args) {
    
    		boolean delete_flag = false;
    
    		String filePath = "D:/CSDN工作文件/测试/";
    		String fileName = "端口号错误.png";
    		String fPN = filePath + fileName;
    
    		File file = new File(fPN);
    
    		if (file.exists() && file.isFile() && file.delete()) {
    			System.out.println("\n符合条件");
    			delete_flag = true;
    
    		} else {
    			delete_flag = false;
    			System.out.println("\n不符合条件,无法删除指定文件");
    		}
    	}
    }
    
    测试结果

    在这里插入图片描述
             以上就是此次测试将服务器上传的临时文件删除掉的一个说明过程。将代码引用到博主的项目需求中就是如下所示
             部分代码

    	    // 执行删除resin服务器上传的临时文件
    		// System.out.println("\nin_filedir = " + in_filedir);
    		// in_filedir2=dqz_str.StrReplace(WEB_ROOT03,"/","\\");  // 已知的文件路径
    	    // in_filename=my_file.getFileName();// 已知的文件名 
    		
    		
    		boolean delete_flag = false;
    		
    		// 获取文件路径和文件名
    		String fPN = in_filedir2 + in_filename;
    		File file = new File(fPN);
    		
    		if(file.exists() && file.isFile() && file.delete()) {
    			
    			delete_flag = true; 
    			System.out.println("\n符合判断条件,上传到resin服务器的临时文件删除成功!!!");
    		}else{
    			
    			delete_flag = false;
    			System.out.println("\n 不符合判断条件,上传到resin服务器的临时文件删除失败!!!"); 
    		}
    

    在这里插入图片描述

    展开全文
  • Hadoop优化清理本地temp临时文件方式

    千次阅读 2016-01-07 09:13:12
    当launch一个job到hadoop 集群,hadoop集群中的 TaskTracker(TT),在从一次heartbeat中接收到 JobTracker... 运行完成后,总是会或多或少的产生一些中间结果,或者jobCache的数据,这些数据通常都需要向TT的本地文件
    当launch一个job到
    hadoop 集群,hadoop集群中的 TaskTracker(TT),在从一次heartbeat中接收到 JobTracker(JT)的cmd后,TT会在自己本地机器上运行一些task进程,以完成这个job的某些部分的
    数据 处理。在task运行过程中,或者 运行完成后,总是会或多或少的产生一些中间结果,或者jobCache的数据,这些数据通常都需要向TT的本地
    文件 
    系统 中写,写这些数据的目录是通过 hadoop的TT进程启动时在 hadoop-site.xml 中的 mapred.local.dir 选项来决定的。比如该配置选项如下:
    

    <property>
    <name>mapred.local.dir</name>
    <value>/disk10/mapred/local,/disk11/mapred/local,/disk12/mapred/local,/disk13/mapred/local,/disk14/mapred/local</value>
    </property>

    那么其实这个TT的所有task,就有5个mapred的local目录写入点可供选择,通常每个 task运行之前,会从这些写入点中轮询的选择下一个,然后该task的中间结果等数据就往这个目录下写。写入的时候也不是直接就写到 这些写入点的根下去了,而是根据该task所属的jobid,taskid来创建相应的目录,并往这些目录中写。因为如果不这样,那么许多的task往写入点的根下写数据,并且文件名一样,就会乱了套了。在写入点中的对应的jobid和taskid创建的目录结构,TT的创建策略可以从其代码中看出来:

    static String getLocalTaskDir(String jobid,
    String taskid,
    boolean isCleanupAttempt) {
    String taskDir = getLocalJobDir(jobid) + Path.SEPARATOR + taskid;
    if (isCleanupAttempt) {
    taskDir = taskDir + ".cleanup";
    }
    return taskDir;
    }

    static String getLocalJobDir(String jobid) {
    return getJobCacheSubdir() + Path.SEPARATOR + jobid;
    }

    static String getJobCacheSubdir() {
    return TaskTracker.SUBDIR + Path.SEPARATOR + TaskTracker.JOBCACHE;
    }


    TaskTracker.SUBDIR = "taskTracker"
    Path.SEPARATOR = “/”
    TaskTracker.JOBCACHE = “jobcache”

    所以,加入某个task得到的local写入点是 /disk10/mapred/local,那么它真正的local写入目录就是 : /disk10/mapred/local/taskTracker/jobcache/${jobid}/${taskid}/

    这里要讲的是:当一个TT运行的时间非常的长,那么在其各个写入点下的临时文件或者垃圾文件就会越来越多,当这些数据越来越多,文件和目录越来越多时,TT和其上面运行的tasks就会受到影响,而致使job越来越慢。究其根源,可以在TT的源码中发现,其中有一个cleanup(boolean)的方法,这个方法用来对写入点下的临时文件和中间结果文件进行清理。但是问题在于,居然有两个方法在调用它,分别是:
    startNewTask和 taskFinished(),也就是说,每当有一个task在TT上启动 ,或者每当有一个task运行结束,都会调用这个cleanup方法,而当TT运行时间太长时,这个cleanup的操作就会越来越慢,这就是导致通常的 hadoop集群总是会越跑越慢的原因之一。

    找到了问题的根源, 解决 起来就比较好办了,在startNewTask()和 taskFinished() 方法的时候,不调用cleanup() 方法,以节省task启动的开销,并在TT中启动一个专门用来清理这些数据目录的线程,在可配置的时间内,如果某些目录和文件的创建和修改时间超过了某个阈值,就删除这些目录和文件,问题就可以解决。
    展开全文
  • H5保存并读取临时文件

    千次阅读 2017-08-18 10:37:59
    在H5,APP中,本地存储主要用于客户端存储用户名等简单的用户信息 1: 分析 web Storage页面存储是H5为存储数据在客户端提供的一项重要功能,因为web Storage API可以区分会话数据和长期数据。 因此相应的API可以...
    1:
    
    错误:我运行的时候没有显示出数据
    =============
    在H5,APP中,本地存储主要用于客户端存储用户名等简单的用户信息
    1:
    分析
    web Storage页面存储是H5为存储数据在客户端提供的一项重要功能,因为web Storage API可以区分会话数据和长期数据。
    因此相应的API可以分为2两种类型
    1:
    sessionStorage:保存会话数据
    2:
    sessionStorage:在客户端长期保存数据
    3:
    使用sessionStorage对象保存数据的方法

    调用setItem()方法
    格式如下:
    sessionStorage.setItem(key,value);
    参数key表示被保存内容的键名
    参数value表示被保存内容的键值
    --
    成功设置键名后不再允许修改,也不能重复,如果有重复,他就会取代原来的。
    2:
    读取被保存的数据getItem()方法
    格式如下:
    sessionStorage.getItem(key);
    其中参数key表示设置保存时被保存内容的键名,该方法将返回一个指定键名对应的键值,如果不存在则返回一个null值
    ---------
    案例:
    创建一个文本框,和一个读取按钮,点击按钮,读取文本框的内容并且显示在页面
    HTML代码
    <fieldset>
    <legend>读取数据</legend>
        <input name="txtName" type="text" class="inputtxt" onChange="txtName_change(this);"size="30px">
        <input name="btnGetValue" type="button" class="inputbtn" οnclick="btnGetValue_click();" value="读取">
        <p id="pStatus">5555</p>
    </fieldset>
    ======================
    js代码
    <script type="text/javascript">
    //获取id的函数
    function $$(id){
    return document.getElementById(id);
    }
    //输入文本框内容时调用的函数
    function txtName_change(v){
    var strName=v.value;//获取v的值,就是文本输入的值
    sessionStroage.setItem("strName",strName);//键名和键值
    $$("pStatus").style.display="block";
    //$$("pStatus").innerHTML=sessionStorage.getItem("strName");//插入数据的时候,读取数据
    $$("pStatus").innerHTML=sessionStorage.setItem("strName");
    }
    //点击读取按钮时调用的函数
    function btnGetVaule_click(){
    $$("pStatus").style.display="block";//会显示文本的样式
    $$("pStatus").innerHTML=sessionStorage.getItem("strName");//,通过key值获取数据
    }
    </script>
    ==========
    css代码
    <style type="text/css">
    .inputbtn{
    border:#ccc 1px solid;
    background-color:#eee;
    line-height:18px;
    font-size:12px;
    }
    .inputtxt{
    border:#ccc 1px solid;
    line-height:18px;
    font-size:12px;
    padding-left:3px;
    }
    fieldset{
    padding:10px;
    width:285px;
    float:left;
    }
    #pStatus{
    display:none;
    border:#ccc 1px solid;
    width:158px;
    background-color:#eee;
    padding:6px 12px 6px 12px;
    margin-left:2px;
    }
    </style>
    ===========
    解决bug:
    展开全文
  • 当用户登录时出现:windows 找不到本地配置文件,用临时配置文件让您登录。登录后原来桌面文件丢失,那是因为此用户的配置文件被损坏,需要重新建立。可以先用其他管理用户登录,如果没有,新建一个管理用户。用其他...
  • 微信小程序临时文件位置

    万次阅读 2016-12-13 13:41:28
    我们在调试微信小程序上传或下载文件时经常不知道是否成功,也不知道...1、在开发工具调试时,临时文件存在user的文件下,具体如下图 WeappFileCache目录下: 2、手机上临时的位置如下图,对应目录的微信的ID号下
  • 而今天要说的是如何创建一个临时文件,可以安全的写入,并且可以自动删除该文件,使用 Qt 自带的类QTemporaryFile,其实和QTemporaryDir类似,都是同样的用法。 QTemporaryFile 该QTemporaryFile类是一个临时文...
  • 在上一篇技术博客中,我们生成的海报中包含图片,这些图片是存储到服务器上的,而canvas的drawimage函数只能读取本地文件,因此我们在drawCanvas之前需要把服务器上的图片下载到本地临时存储,这里选择使用wx....
  • 本地临时图片路径转base64 base64({url,type}){ return new Promise((resolve, reject) => { wx.getFileSystemManager().readFile({ filePath: url, //选择图片返回的相对路径 encoding: 'base64...
  • cloud: config: server: native: search-locations: classpath:/config springCloud 的读取配置路径如上, 配置中心目录如下 ...那么问题来了, 假如你修改了 apiGateway 这个yml, 再在浏览器上请求 这个配置文件...
  • Java生成临时文件

    万次阅读 2018-07-10 09:33:43
    * 根据数量生成系统临时文件 */ File[] files =new File[nameAll.length]; for(int i=0;i<nameAll.length;i++){ files[i]= File.createTempFile(nameAll[i].toString(), ".jpg"); files[i].deleteOnExit(); ...
  • // 1构建为base64图片字符串 let base64 = ... // 从服务器获取的base64字符...// 保存到本地 let bitmap = new plus.nativeObj.Bitmap("test"); bitmap.loadBase64Data(imageStr, function(){ console.log("加载Ba
  • winxp,系统刚启动进入操作界面是,弹出一个对话框:Windows 找不到本地配置文件,用临时配置文件让您登录。当您注销时,对此配置文件所作的更改将丢失。启动后则“我的电脑”“我的文档”IE等图标都消失了。请问该...
  • MultipartFile转临时File文件

    千次阅读 2019-09-28 10:55:44
    其中file为MultipartFile的文件 File file2 = File.createTempFile(UUID.randomUUID().toString(), "tmp"); file.transferTo(file2); file2.deleteOnExit(); 上面主要方法的意思: 1、 createTempFile(String ...
  • Eclipse下完整的java程序,包含HttpClient的全部jar包。通过java类文件,实现通过链接将文件下载本地
  • 示例为从HDFS下载文件到本地临时文件 启动springboot项目 客户端访问 传入需要的参数 返回了临时文件的路径,到指定路径查看 End
  • linux 创建临时文件系统、临时文件

    千次阅读 2017-11-14 17:38:00
    linux 创建、删除临时文件系统步骤如下(redhat为例) dd命令的bs= 是设定块大小,可以为k、m等,count= 是块的数量 另外区别:/dev/zero主要的用处是用来创建一个指定长度用于初始化的空文件,就像临时交换文件...
  • 29 SpringMVC 上传文件未生成临时文件

    千次阅读 2017-12-02 17:34:49
    这个问题, 是这样的 : js ajax提交上传一个...js传递文件到服务器1之后, 通过 HttpClient 的MultipartEntityBuilder, post 服务器1生成的临时文件[file.getFile().getFileItem().getStoreLocation()], 发送到 服务器2,
  • springboot项目,部署到服务器后,运行一段时间后,处理一些文件上传的接口时,后报异常。 Could not parse multipart servlet request; nested exception is java.io.IOException: The temporary upload location ...
  •  这里的maxInMemorySIze 是文件上传的时候写到内存中的最大值,默认是10240字节,如果这里写大了,那么小于这个参数的文件则不会创建临时文件。  最后改成了 后正常 原文连接:...
  • 前端本地文件上传预览

    千次阅读 多人点赞 2020-06-16 18:59:06
    众所周知,前端无法像原生APP一样直接操作本地文件 —— 否则打开一个网页操控JS就能把用户电脑上的文件偷光。所以需要通过用户触发:通常,用户可选择以下两种方式触发 1. 通过`input type="file"` 选择本地文件 ...
  • 临时文件清除脚本

    2012-04-11 14:25:28
    简单几句DOS命令实现清除网页,本地操作产生的临时文件
  • 在使用Fileupload组件处理文件上传时,我们可以定义maxInMemorySize,当上传文件大小超过此值,则把文件写入临时文件,防止内存占用过多或溢出。如下配置代码。 @Bean(name = "multipartResolver") public ...
  • photoshop文件巨大Adobe Photoshop is taking up more room than you think. But Photoshop also uses massive temporary cache files, many over a gigabyte each, which don’t always go away as they should ...
  • 找不到临时文件夹返回的错误代码为6错误原因:一、配置文件没有设置临时文件夹二、临时文件夹没有或者上级文件夹没有相应的权限处理方式:找到PHP配置文件php.ini,找到以下代码1;upload_tmp_dir =改为:1upload_...
  • 由于在maven仓库中没有jave-1.0.2.jar这个jar,所以需要自己去下载到本地 微云地址:https://share.weiyun.com/5epeWn5 点击可直接快速下载 2.将jave-1.0.2.jar这个jar包引入到项目中,放在项目的src/main/...
  • 大数据量Excel导出使用SXSSFWorkbook对象临时文件位置实现自定义配置SXSSFWorkbook大体介绍关于这个临时文件默认路径及实现自定义配置的实现 SXSSFWorkbook大体介绍 SXSSFWorkbook是poi中专门做大数据量导出的一个类...
  • java 生成文件,转multipartfile上传(本地不生成文件)–直接使用流进行传送 对于一个菜鸟来说。这个本地不生成文件。我捯饬了两天才完成。累死我了呢。 /** * 将pdf生成,并转为byte[] */ public byte[] ...
  • 使用ByteArrayOutputStream将数据写入本地文件 在一个项目中做一次性校验部分,需要将校验后数据写入表格后上传。巧的是,服务器Down了。作为一个新手实习生菜鸟,为了测试自己的代码和输出结果有没有毛病,在大神...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 246,754
精华内容 98,701
关键字:

本地临时文件