精华内容
下载资源
问答
  • 做项目经常要获取文件夹中所有文件的路径以便于进一步读取,之前写都是使用for循环之类的,不够简洁。这里给一个比较简洁的代码以便于以后代码复用 import os #放入文件夹的绝对路径 path = '' #获取文件夹中...

    做项目经常要获取文件夹中所有文件的路径以便于进一步读取,之前写都是使用for循环之类的,不够简洁。这里给一个比较简洁的代码以便于以后代码复用  

    import os 
    
    
    #放入文件夹的绝对路径
    path = ''
    
    #获取文件夹中文件名
    names = os.listdir(path)
    
    #获取所有文件的绝对路径
    file_abs_path = list(map(lambda name: path + name, names))
    
    print(file_abs_path)
    
    

     

    展开全文
  • 方便~ coolname 是否在 logdir 下面再新建一个随机命名的文件夹来用 logging(这样你可以在 logdir 下面存一些除了logging之外的东西,方便分类)。随机命名的文件夹的画风是这样的 industrious-chicken , arrogant-...

    [最近文章的收藏量都是点赞量的三倍多,大家如果感觉有用,请点个“赞”来资瓷下哇 ~]

    f9023ec78d4d8fc6143b95811a315f25.png

    今天介绍的是 NVIDIA 推出的一款专门用于记录深度学习调 (lian) 参 (dan) 的工具,runx。(为即将的新东家打免费广告了,哈哈)

    https://github.com/NVIDIA/runx

    runx非常的新,大概是五天前正式开源的。正好在 Github 上面看到,感觉挺有意思的,就拿来仔细的看了一下。这篇文章也应该是中文全网第一个介绍这个工具。

    简单来说,runx 生来就是用来方便深度炼丹师记录各种实验数据的。

    因为深度学习里面,一个大模型一跑少则几个小时,多则几天或者几个星期,如果没有很好的把已经跑过实验很好的记录下来,会是一件非常低效而且恼火的事情。

    我在我之前的文章也介绍过一些方便记录实验数据的小方法,比如:

    如何记录实验的各种超参数设置。

    而 runx 则更像是把各种常用的工具做了一个集合,可以把他理解为深度学习炼丹中的”瑞士军刀“。工具很小,本身也很简单简洁,但是很多时候可以给你很大方便。

    目前 runx 的文档还很不全,我先来介绍他的一个用法—- 记录实验输出及方便的Tensorboard记录

    主要用的是 runx 下面的子模块, runx.logx

    1. logx.initialize

    在实验开始前进行一些必要的设置。

    logx.initialize(logdir=args.logdir, coolname=True, tensorboard=True,
                        hparams=vars(args))

    上面就是定义了:

    logdir 把所有保存的结果存在哪。如果指定的文件夹不存在,会自动的新建,不用再手动的 os.makedirs(logroot, exist_ok=True) 了哦。方便~

    tensorboard 是否开启 tensorboard 记录。这个也很方便,不用再手动的 writer = SummaryWriter() 了哦。方便~

    global_rank 分布式训练的时候,防止多个输出,自动只log rank=0,不用自己写判断了哦。方便~

    coolname 是否在 logdir 下面再新建一个随机命名的文件夹来用 logging(这样你可以在 logdir 下面存一些除了logging之外的东西,方便分类)。随机命名的文件夹的画风是这样的 industrious-chicken , arrogant-buffalo ,哈哈哈哈哈。

    hparams 把所有的超参数都存起来,功能和我上面推荐的文章基本一样,虽然砸了我上面文章的”饭碗“,但是不得不说,方便~

    eager_flush 如果每次 tensorboard 写的东西比较多,那就把这个打开,以防因为IO太快没写上。(有些服务器开启了IO限制,经常会遇到实际没写上的情况,建议常开)

    1. logx.msg()

    把你程序之前 pirnt 都换成这个就对了,他会帮你自动保存所有 print 输出,方便日后查看。方便~

    1. logx.metrics

    用来记录各种变量的,比如

    # capture metrics
    metrics = {'loss': loss.item()}
    iteration = epoch * len(train_loader) + batch_idx
    logx.metric('train', metrics, iteration)

    phase 指定是 train 还是 test

    metrics 一个字典,里面装着所有你打算在这一步你要记录的值。

    global_step 这个是第几步的结果。

    这其实就是一个 保存训练变量+TensorBoard自动写入 器。

    1. save_model

    用法

    logx.save_model(
            save_dict,
            metric=accuracy,
            epoch=epoch,
            higher_better=True)

    epoch 会用这个来命名存的模型

    metric 以什么为标准来决定当前模型是否是最好的模型,并由此决定要不要存。如果你的 metric 是准确率,那么 higher_better 就要置为 True

    delete_old 是否每个 epoch 都保存一个一个新的,还是永远只存一个最好的。不用自己写判断的代码了哦。方便~


    这是介绍 runx 系列文章的第一篇文章,如果你想了解更多,别忘了点赞和关注我哦~

    展开全文
  • 最近在Ubuntu上写脚本,需要删除文件夹内容并新建这个文件夹,结果我发现神奇的事情出现了,所谓的`rm -rf `删除文件夹内容,并不是真正删除了,其实内容还都留在磁盘上,并且会在你创建这个文件夹`mkdir`的时候再次...

    前言

    最近在Ubuntu上写脚本,需要删除文件夹内容并新建这个文件夹,结果我发现神奇的事情出现了,所谓的rm -rf删除文件夹内容,并不是真正删除了,其实内容还都留在磁盘上,并且会在你创建这个文件夹mkdir的时候再次出现。。。

    有点神奇,所以这里记录一下(虽然知道磁盘的原理,但是这种现象确实是我第一次看到)。

    1 过程复现

    首先我有个文件夹叫做ochiai_FL,如下:

    在这里插入图片描述

    里面有多个文件:
    在这里插入图片描述

    我想删除这个文件夹,擦除这里面的内容,然后新建这个文件夹(即ochiai_FL)。

    所以我进行了如下操作:
    rm -rf ochiai_FL 这时候这个文件夹已经不见了。

    在这里插入图片描述
    然后我开始新建这个ochiai_FL
    mkdir ochiai_FL

    文件夹再次出现,而且打开文件夹,里面竟然有内容,原封不动???!!!:
    在这里插入图片描述

    。。。

    实在是神奇

    2 思考

    1)我把这个文件夹直接剪切到其他路径了,然后再mkdir ochiai_FL,这时候就是空文件夹了。

    2)我在其他路径尝试 rm 有文件的文件夹和 mkdir 同名文件夹的操作,都没有这样的情况(文件夹下面的文件依然存在)发生,而都是生成的空文件夹。

    3)我在这个剪切的文件夹打开里面的文件,发现都是空文件,想关闭文件的时候,是这样的信息:
    在这里插入图片描述
    4)我又重新在sbfl/文件夹下运行了程序,生成了ochiai_FL 但是再rm和mkdir的时候,这个文件夹已经是空文件夹了,不再是之前的那样奇怪的现象了。。。看来这个现象还是不一定能复现的

    3 总结

    以上。记录之。

    展开全文
  • trick之mklink

    2016-09-11 13:45:00
    因为要看很多论文就下载安装了zotero,又因为文献库的文件夹在安装目录太深,找起来太麻烦,再加上是软件本身的安装目录,因此把论文都下载在默认文件中总会天然地产生不安全感,万一误删软件怎么办。所以在文献库...

    因为要看很多论文就下载安装了zotero,又因为文献库的文件夹在安装目录太深,找起来太麻烦,再加上是软件本身的安装目录,因此把论文都下载在默认文件中总会天然地产生不安全感,万一误删软件怎么办。所以在文献库里面加了论文的链接。

    又过了一段时间,感觉自己电脑和实验室电脑两头忙,U盘未免太忙了。

    所以,就想到把本地文件夹和云盘文件夹做同步。但是本地文件夹好几个,一个个去同步也很麻烦。

    于是想到,能不能在本地建一个文件夹,然后把需要同步的本地文件夹都丢到这个文件里。

    可是,问题来了,全部移过来,之前加到zotero里的链接不是都无效了?

    于是想到了用mklink命令做文件联接,这样在原来文件不动,在备份文件夹中添加联接文件快捷方式就好。

    命令:

    mklink /j "要同步的本地文件夹目录" "原来的论文文件目录"

    转载于:https://www.cnblogs.com/wxiaoli/p/5861628.html

    展开全文
  • 发现电脑的某个文件夹上出现了一个小锁,对于有强迫症的我,自然会感到格外的不自在的,去百度了一圈,发现那些都不是我想要的解决方法(因为小锁是我很早之前自己弄的),于是便有了这篇trick。 step1: 右键鼠标,选择...
  • 3、虽然filename.zip是一个目录,而上传的内容在hash256文件中,但是Linux的特性支持直接解压一个文件夹,只要文件夹里面含有7z的压缩文件(即有一个7z文件格式的文件) 总结 类似的trick还有php可以执行打包文件,...
  • <p>I have a small piece of code that will get the request input file from the form and will move it to a folder.... <pre><code>$destinationPath = '... Is there a trick for this? Thank you. </div>
  • 生成了dist目录,且在此目录下生成了 dlocr-0.1-SNAPSHOT.tar.gz文件夹 下一步需要pip install dlocr-0.1-SNAPSHOT.tar.gz 但是需要在容器内运行,首先在直接建的镜像中: docker run -i -t chinese:v1 /bin/bash ...
  • 方法如下: You can gracefully reinitialize offline folders by holding Shift+Ctrl and clicking by mouse on the "Delete files" on Offline files tab in Options of ... It is special trick de...
  • 早先在ubuntu安装了timeshift,后来发现硬盘不够用了,于是卸载之。可卸载之后依然继续系统快照,屡删屡照,搜了一下,发现都...2. 取消所有用户对timeshift文件夹的写权限:sudo chmod a-w -R /home/timeshift/ ...
  • ...It works fine when files are at the same directory that simply can do ... <p>and if a file is in the child folder like ...<p>but I want to make my root WordPress ...<p>any trick to fix this. </div>
  • <p>I tried to delete it by using git bash by doing some rm commands, that didn't do the trick either. <p>I wanted to install xampp again but couldn't (since old xampp folder was there) so I renamed ...
  • 触摸板两指单击打开右键菜单If you don’t already have a quick launch icon or a hotkey set to open a command prompt, there’s really quick trick that you can do on any Windows 7 or Vista computer to ...
  • android:shadowColor 阴影颜色 android:shadowDx 阴影的水平偏移量 android:shadowDy 阴影的垂直...然后在values文件夹下创建styles.xml文件,内容为: 这样的最大优点是减低代码冗余度,在需要更改
  • ROS中的turtlebot包

    千次阅读 2015-08-10 17:16:26
    turtlebot包如果没有安装成功或者文件夹做了改动运行不起来需要重装就需要uninstall turtlebot了,wiki上找到的说法是: If you ever need to uninstall, simple rm -rf /opt/turtlebot will do the trick. ...
  • 2019年2月工作总结

    2019-02-16 15:58:20
    总结下这一个月以来的代码小trick呀~ 1.7 精确度 将xml转换成json: xmltodict.parse() xml = open(xml_path,‘r’) xml = xml.read() json = xmltodict.parse(xml) 读取文件夹下所有文件 os.walk() append,...
  • mmdetection使用小结

    2020-04-02 11:56:13
    最近使用mmdetection框架训练算法模型,感觉稳定性不错,而且在加上一些trick之后可以达到SOTA的效果,所以最近在将自己的一些代码迁移到该框架下,顺便在此记录下一些使用小结。 模型训练 首先得准备好一个config....
  • macOS系统将App安装至移动硬盘的方法

    千次阅读 2019-06-15 14:14:18
    大部分Cocoa app是可以随处放的。...这个时候就需要一点trick了,针对每个软件的方法不一定一样,但大致思路如下:假设有一个软件A,它默认会在/Applications目录下放一个A.app文件(文件夹),以及会在~/Libra...
  • 可以通过 nginx 转发或者将打包后的主项目和子项目放在一个文件夹中按照相对路径引用。</li></ul> <p>4.当浏览器解析 html 时,解析并执行到子项目的入口文件 main.js,将子项目的 route list 注册到 ...

空空如也

空空如也

1
收藏数 20
精华内容 8
关键字:

trick文件夹