精华内容
下载资源
问答
  • 记录一下在复现st-gcn中遇到

    千次阅读 2019-06-16 10:54:59
    简单记录一下复现ST-GCN时...要使用 conda install -r requirements.txt 简单安装所需的包时,报错了,基本的意思就是所在的channel没有其中的几个包,因此,我后来就一个一个去装。在这其中又遇到了一些问题。 1...

    简单记录一下复现ST-GCN时遇到的坑

    在搭环境时遇到的坑

    具体的项目链接在这:ST-GCN
    我的环境:
    Ubuntu16.04
    cuda:9.0
    我的pytorch等ST-GCN的依赖是装在anaconda的沙盒环境里的,opencv、caffe和openpose是用的系统环境。经过测试,可以执行ST-GCN中的测试Demo。
    遇到的第一个坑是这里:在这里插入图片描述
    要使用 conda install -r requirements.txt 简单安装所需的包时,报错了,基本的意思就是所在的channel没有其中的几个包,因此,我后来就一个一个去装。在这其中又遇到了一些问题。
    1.服务器 conda时错误提示 The following specifications were found to be conflict:
    解决的办法就是在base环境中输入:conda update conda 。再次conda install 就没报错了。
    2.第二个问题就是想安装opencv-python这个包的时候报错。
    解决的办法就是:直接在cmd命令行输入:conda install --channel https://conda.anaconda.org/menpo opencv3
    3.第三个问题就是安装scikit-video这个包的时候报错。(其实这个问题和第2个问题一样,就是当前的频道没有这个包的资源)
    解决的办法就是在–channel中选有这个包的频道啦,那就是https://anaconda.org/conda-forge
    4.最骚的是我在装完上面的包之后我的环境的pytorch消失了?
    然后我现在在重装。看看等会怎么样吧。
    5.第二天发现我的python版本无缘无故变成2.7版本的了,咋回事?
    原来是装argparse的时候,系统自动给我降了。我*,后来查了一下发现这个argparse是python自动带着的,没必要再另外去装,所以我把环境删掉之后,再从新搞一次,这次就没装argparse了,import 它也是可以的。
    6.额,后面开始跑实验了,但是有一个包漏了torchvision也是要装的····

    然后是在远程调试时遇到的坑

    因为我是想通过服务器来进行调试的嘛,那就得将项目上传到服务器上,但是有一个问题是因为我把数据库放在项目里面打算一起上传的(通过pycharm),可能是我的电脑内存太低了,根本上传不了这么大的数据库的数据,因此昨天就没上传成功。今天试着分开上传(先上传本来的项目加上下载的model,然后再上传数据库的压缩包),成功了,最后是在性能比较好的服务器上解压的数据库,现在在进一步处理数据库的数据。

    跑 test 时报错

    就是会说什么意外的值啊之类的
    RuntimeError: in loading state_dict for Model…
    这个问题我还是没有解决,问题主要就出在无法加载预训练模型,其实后来我自己训练了一个模型也是可以的,然后后我自己训练的模型来测试也是可以的。

    后来这个问题解决了,修正的模型在issues里面可以找得到,给个链接吧:
    https://github.com/yysijie/st-gcn/issues/182

    openpose的安装

    这个最让我头大了···
    主要的配置过程参考这个博客,但是这其中还有很多的坑,我一一道来。
    1.首先是opencv的安装。
    这个一堆坑,最简单的方法就是先把之前系统里面装的opencv先删除干净,然后再用一个简单的命令安装2.4的版本。apt-get install libopencv-dev(可能要装依赖,百度一下)
    2.然后是caffe的安装。(应该考虑到cuda和cudnn版本的问题)
    这个遇到的问题也挺多的,有一个是这个:在这里插入图片描述
    其实很多问题在这里都有提到:https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/faq.md#check-failed-for-readprotofrombinaryfile-failed-to-parse-netparameter-file
    这个问题在这里面也有提到。
    这个问题后来我换成CUDA9.0就解决了,CUDA8.0可能是cudnn的问题,我还是没搞清楚。

    3.在解决第二个问题之后,又出现了新的问题(编译openpose成功,运行测试时),就是caffe版本和openpose不匹配的问题:
    在这里插入图片描述
    参考这个:https://blog.csdn.net/chenzhenyu123456/article/details/84259851
    其实从主要的参考博客就可以看出一点蛛丝马迹了,caffe版本是升级过的(Makefile文件内容不同),我们就降版本来进行配置吧。
    经过测试,完成openpose的配置,并测试成功。(在系统环境下。)

    展开全文
  • 经典预训练模型、新型前沿研究模型是不是比较难调用?...项目地址:https://pytorch.org/hub机器学习领域,可复现性是一项重要需求。但是,许多机器学习出版成果难以复现,甚至无法复现。随着数量上逐年增长...

    c31b5f2499b555bf7c63714c87dd0b00.png
    经典预训练模型、新型前沿研究模型是不是比较难调用?PyTorch 团队今天发布了模型调用神器 PyTorch Hub,只需一行代码,BERT、GPT、PGAN 等最新模型都能玩起来。

    选自PyTorch,机器之心编译,参与:思源、一鸣。

    项目地址:https://pytorch.org/hub

    机器学习领域,可复现性是一项重要的需求。但是,许多机器学习出版成果难以复现,甚至无法复现。随着数量上逐年增长的出版成果,包括数以万计的 arXiv 文章和大会投稿,对于研究的可复现性比以往更加重要了。虽然许多研究都附带了代码和训练模型,尽管他们对使用者有所帮助,但仍然需要使用者自己去研究如何使用。

    今天,PyTorch 团队发布了 PyTorch Hub,一个简单的 API 和工作流代码库,它为机器学习研究的复现提供了基础构建单元。PyTorch Hub 包括预训练模型库,专门用来帮助研究的复现、协助新研究的开展。它同时内置支持 Colab,集成 Papers With Code 网站,并已经有广泛的一套预训练模型,包括分类器、分割器、生成器和 Transformer 等等。

    fc7a83d78108635fb3eaeb55eff89282.png

    研究者发布模型

    PyTorch Hub 支持在 GitHub 上发布预训练模型(定义模型结构和预训练权重),这只需要增加一个简单的 hubconf.py 文件。该文件会列举所支持的模型,以及模型需要的依赖项。

    用户可以从以下代码仓库找到使用案例:

    • https://github.com/pytorch/vision/blob/master/hubconf.py
    • https://github.com/huggingface/pytorch-pretrained-BERT/blob/master/hubconf.py
    • https://github.com/facebookresearch/pytorch_GAN_zoo

    现在,我们可以看看最简单的案例,torchvision 的 hubconf.py:

    755df23b7a60a48dbd4de00192d2653b.png

    在 torchvision,模型有以下几部分:

    • 每个模型文件都可以独立的执行
    • 这些模型不依赖 PyTorch 以外的包(在 hubconf.py 中以及集成了相关依赖:dependencies['torch'])
    • 这些模型不需要单独的模型入口(entry-point),因为这些模型一经创建,就可以无缝地提取使用

    减少包的依赖可以减少用户导入模型时出现的各种问题,而且这种导入可能只是临时的调用。一个直观的例子是 HuggingFace's BERT 模型。其 hubconf.py 文件如下:

    c7da45496d79fdff0da11adbb7500e47.png

    每个模型都需要创建一个模型入口,以下指定了 bertForMaskedLM 模型入口,并希望获得预训练模型权重:

    0e3d6e1b0e8b0bccd4a095bd6a18a05e.png

    这些入口可以作为复杂模型的包装器,我们能提供注释文档或额外的帮助函数。最后,有了 hubconf.py,研究者就能发送 pull 请求。当 PyTorch 接受了该请求后,研究者的模型就会出现在 PyTorch Hub 页面上。

    用户工作流

    PyTorch Hub 允许用户只用简单的几步就完成很多任务,例如 1)探索可用模型;2)加载预训练模型;3)理解加载模型的方法与运行参数。下面让我们通过一些案例体会体会 PyTorch Hub 的便捷吧。

    探索可用模型

    我们可以使用 torch.hub.list() API 查看仓库内所有可用的模型。

    79aca7bb22baaab8ede9c84f1234f71e.png

    注意,PyTorch 还允许使用预训练模型之外的辅助模块,例如使用 bertTokenizer 来完成 BERT 模型的预处理过程,它们都会使工作流更加顺畅。

    加载模型

    现在我们已经知道有哪些预训练模型,下面就可以使用 torch.hub.load() API 加载这些模型了。使用 API 加载模型时,它只需要一行命令,而不需要额外安装 wheel。另外,torch.hub.help() API 也能提供一些有用的信息来帮助演示如何使用预训练模型。

    9370fe48cee012c06ba361c243541c29.png

    其实这些预训练模型会经常更新,不论是修复 Bug 还是提升性能。而 PyTorch Hub 令用户可以极其简单地获取最后的更新版:

    39bcdf82e650ce3652cf0e2ce7dd2654.png

    PyTorch 团队相信这个特性能帮助预训练模型的拥有者减轻负担,即重复发布包的成本会降低,他们也能更加专注于研究(预训练模型)本身。此外,该特性对用户也有很大优势,我们可以快速获得最新的预训练模型。

    另一方面,稳定性对于用户而言非常重要。因此,模型提供者能以特定的分支或 Tag 为用户提供支持,而不直接在 master 分支上提供。这种方式能确保代码的稳定性,例如 pytorch_GAN_zoo 可以用 hub 分支来支持对其模型的使用。

    d6d31f4c8b2428283e878a27b7d95cff.png

    注意传递到 hub.load() 中的 args 和 kwargs,它们都用于实例化模型。在上面的例子中,pretrained=True 和 useGPU=False 都被赋予不同的预训练模型。

    探索已加载模型

    当我们从 PyTorch Hub 中加载了模型时,我们能从以下工作流探索可用的方法,并更好地理解运行它们需要什么样的参数。

    dir(model) 方法可以查看模型的所有方法,下面我们可以看看 bertForMaskedLM 模型的可用方法。

    ea490195142eccae9f36c3df8ffea16d.png

    help(model.forward) 方法将提供要令模型能正常跑,其所需要的参数。

    下面提供了 BERT 和 DeepLabV3 两个例子,我们可以看看这些模型加载后都能怎样使用。

    • BERT:https://pytorch.org/hub/huggingface_pytorch-pretrained-bert_bert/
    • DeepLabV3:https://pytorch.org/hub/pytorch_vision_deeplabv3_resnet101/

    PyTorch Hub 中的可用模型同样支持 Colab,它们都会连接到 Papers With Code 网站。

    TensorFlow 和 PyTorch 你选谁?

    此前 TensorFlow 也发布了 TensorFlow Hub,它同样用于发布、探索和使用机器学习模型中可复用的部分。最近关注便捷性的 TensorFlow 2.0 Beta 也已经发布,但很多读者还是倾向于使用 PyTorch。既然这两大框架越来越「相似」,那么我们到底该使用哪个?下面机器之心简要总结了这两个深度学习框架的发展历程,我们也相信,用哪个都能开发出想要的炫酷应用。

    TensorFlow:

    6cdb51831808c9baf742e2c9ed04bb44.png

    PyTorch:

    7e50598c26c5530526145523c152a62c.png

    TensorFlow 和 PyTorch 都是经典的机器学习代码库。随着学界和工业界对机器学习的需求的增长,两者的社区也在不断发展壮大。虽然 TensorFlow 是老牌的机器学习代码库,但由于 1.x 及之前版本存在的诸多问题,许多用户逐渐转向对用户友好、学习门槛低、使用方便的 PyTorch。在 2018 年,TensorFlow 逐渐意识到这一问题,并在 2.x 版本逐渐提升了用户体验。

    与此同时,基于两个经典机器学习代码库的进一步工具开发也是近年来的趋势。过去有部分基于 TensorFlow 的 Keras 和基于 PyTorch 的 fast.ai,最近一两年则有大量的模型库和方便用户快速训练和部署模型的代码库,如 Tensor2Tensor,以及针对特定领域的代码库,如基于 PyTorch 的 NLP 代码库 PyText 和图神经网络库 PyG。

    目前来看,TensorFlow 的生态系统更为多样和完善,且具有多语言的支持,其广受诟病的难以使用的缺点也在逐渐改善。另一方面,由于 PyTorch 本身用户友好的特性,基于这一代码库的应用开发进度似乎也赶上了 TensorFlow,尽管在多语言支持等方面 PyTorch 依然有较大差距。这一机器学习生态之战究竟会走向何方,目前尚不明朗。未来的机器学习代码框架的发展趋势是,模型的训练、部署工作量将会越来越低,类似「搭积木」方式的应用部署方式将会越来越流行。研究者和开发者的精力将会完全转向模型结构的设计、部署和完善,而非纠结于框架的选择和其他底层工程问题上。

    参考链接:https://pytorch.org/blog/towards-reproducible-research-with-pytorch-hub/

    展开全文
  • 但实际上这取决于两方面:一方面是你要去洞是什么样子;另一方面是你是什么样子。END关于版权:部分图文来自网络,版权归原作者所有,若涉及版权问题,请原作者联系我们及时删除。精品文章推荐:世界顶级...

    泛   /   运   /   动   /   国   /   际   /   社   /  区

    257e1539-1820-eb11-8da9-e4434bdf6706.jpeg

    文章转载: 一席

    王远,洞穴潜水爱好者。

    很多人说洞穴潜水是极限运动,说洞穴潜水非常危险、非常可怕。但实际上这取决于两方面:一方面是你要去的洞是什么样子的;另一方面是你是什么样子的。

    END

    关于版权:部分图文来自网络,版权归原作者所有,若涉及版权问题,请原作者联系我们及时删除。

    277e1539-1820-eb11-8da9-e4434bdf6706.png

    精品文章推荐:


    世界顶级潜点季节表,据说资深潜水员都知道~

    科学的证据,潜水真的可以影响情绪!

    蝠鲼在大海太可爱,但在广州太可怜!

    我差点死在马尔代夫!

    从入门级到朝圣级,船宿该怎么选?

    查询预订潜水行程,请添加小程序:


    潜水行程匹配预定小程序

    317e1539-1820-eb11-8da9-e4434bdf6706.jpeg

    更多资讯请关注:

    喜乐沙邦 XL_SHABANG / 喜乐沙邦服务号 XILE-SHAB 

    397e1539-1820-eb11-8da9-e4434bdf6706.png

    展开全文
  • 百度飞桨论文复现

    2020-08-05 22:16:33
    复现论文是一项理论加实际活,首先要理解意思,还要有编程基础。这是一个挑战,如果这个成功坚持下来了,就是一项了不起事情。这次有两个方向,一个是gan,还有一个是视频分类,都可供选择。两个方向都分别会有5...

    课程地址
    https://aistudio.baidu.com/aistudio/education/group/info/1340

    这次的论文复现营,时长上比以往的训练营时间长。复现论文是一项理论加实际的活,首先要理解意思,还要有编程基础。这是一个挑战,如果这个成功坚持下来了,就是一项了不起的事情。这次有两个方向,一个是gan,还有一个是视频分类,都可供选择。两个方向都分别会有5篇论文带读。要求用paddle框架复现。
    GAN方向的论文
    1.LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS
    https://github.com/sxhxliang/BigGAN-pytorch
    2. Few-shot Video-toVideo Synthesis
    https://github.com /NVlabs/few-shotvid2vid
    3. First Order Motion Model for Image Animation
    https://github.com/AliaksandrSiarohin/first-order-model
    4.StarGAN v2: Diverse Image Synthesis for Multiple Domains
    https://github.com/clovaai/stargan-v2
    5. U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation
    https://github.com/znxlwm/UGATIT-pytorch
    视频分类4篇论文
    1.ECO: Efficient Convolutional Network for Online Video Understanding
    网址:https://github.com/mzolfaghari/ECO-pytorch
    2.Temporal Pyramid Network for Action Recognition
    网址:https://github.com/decisionforce/TPN
    3.Learning Spatio-Temporal Features with 3D Residual Networks For Action Recognition
    网址:https://github.com/kenshohara/3D-ResNets-PyTorch
    4.Representation Flow for Action Recognition
    网址:https://github.com/piergiaj/representation-flow-cvpr19

    展开全文
  • 复现程序记录

    2019-03-25 20:58:59
    2019.3.19 VOC数据集介绍:参考:添加链接描述 VOC2012中SegmentationClass...其中Annotation中包含了对应图片的xml信息:我们从中可以轻易得出这幅图片的一些基本信息,其中segmented一栏为1,这里的意思是这幅图...
  • 最近刚入职,跟着公司小“导师”多次出入进出机房在服务器端进行日志查询等操作,但是我只对他狂敲键盘后神采,却对他大部分Linux命令并不晓得啥意思,也不方便一个个问,只好心里默默记下来各个命令,回头...
  • CVE-2017-14849复现

    2020-07-18 15:55:14
    CVE-2017-14849复现 cve描述 Node.js 8.5.0 before 8.6.0 allows remote attackers to access unintended files, because a change to “…” handling was incompatible with the pathname validation used by ...
  • linux论文复现路径

    2020-07-25 19:32:42
    看到下面: /path/to/cityscapes Generate coco_img. ROOT=/path/to/snake 分为意思是在:cityscapes、coco_img、snake文件夹下进行操作
  • CVE是Common Vulnerabilities and Exposures缩写,意思是通用漏洞。它是一个漏洞字典,有MITRE维护。 大家可以在cve.mitre.org/cve/index.html,查看漏洞列表。 而MS是微软维护自身漏洞列表。大家可以在...
  • *CTF2021部分复现

    2021-01-20 10:29:34
    web oh-my-note 从源码可以看出session 是经过两次随机进行设置,首先随机取得user_id,在通过user_id和提交时间取得note_id ...很明显,题目意思要求爆破user_id 创建用户和提交时间可能存在几毫秒偏差 源码中采
  • 《deep sort》复现过程

    2019-03-26 15:29:00
    目录 1. 准备代码与数据 deep_sort开源代码 克隆到本地服务器 ...下载MOT16数据集(MOT:Multi-Object Tracking, 16的意思是相比MOT15多了更多的细节信息) MOT16数据集 预训练权重下载 1.1 数据集...
  • 意思是在28354h这个位置插入什么 把图片放到010里看一下, 有一块识别不出来数据,结合前面提示, 把这一块剪切下来放到提示位置。(这里我看了半天大佬wp没懂,问了群里师傅才知道,谢谢好心师傅们)...
  • 发现index.php,访问发现弹窗eval post cmd,意思很明显,就是post传入cmd参数,并且应该使用了eval()函数。所以,源码里应该有<?php eval($_POST['cmd']);?>,一句话木马,蚁剑直接连 发现上图所示
  • 禁止该服务后,就NO掉啦,然后我就面向百度,大概意思就是这个服务开启和写入权限打开时,我们就可以随意写入文件甚至是恶意文件 那我们试一试 上工具,使用桂林老兵工具上传一句话木马(iis会解析asp,php,jsp,cgi)...
  • CVE-2019-14287 漏洞复现

    2019-10-15 12:40:06
    一.漏洞介绍 /etc/sudoers文件配置不当,导致用户可以绕过安全策略,以root身份运行命令。 (默认情况下linux,不会遭受此攻击) ...这是什么意思呢? 如果这样配置,就允许test用户以非root...
  • 对于代码实现,通常来说首先就是要看懂别人写的代码,然后明白某段代码大概表述的意思,然后再根据框架依次实现。首先,我们来先看看pytorch的代码有哪些部分,然后再用paddle进行实现。 pytorch代码组成 原作者的...
  • 相对于RMI - IIOP ,该协议JRMP只能是一个对象Java到Java远程调用,这使得它依赖语言,意思是客户端和服务器必须使用Java。 JRMP:Java远程消息交换协议JRMP(Java Remote Messaging Protocol) 该协议基于...
  • 其实自己做个不少漏洞复现,但是一直没好意思发,后来我发现了,不发出来我写他干嘛?(反正也没人看) 0x00 漏洞概述: 由于php5.3.x版本里php.ini设置里request_order默认值为GP,导致REQUEST中不再包含_REQUEST...
  • 这个漏洞简单来说,就是用户请求的querystring(querystring字面上的意思就是查询字符串,一般是对http请求所带的数据进行解析,这里也是只http请求中所带的数据)被作为了php-cgi的参数,最终导致了一系列结果。...
  • 那么可能有两层意思:一是找后门,二是写后门。但是本题提示很少,那么可能是信息泄露。 这里是GIT信息泄露,访问http://10.198.99.127:8026/.git/logs/HEAD,发现有日志信息泄露 [外链图片转存失败,源站可能有...
  • sudo,也就是以超级管理员身份运行(superuser do)的意思。sudo是 Linux中最常使用的重要实用程序之一,它功能十分强大,几乎安装在每一款基于UNIX或 Linux的操作系统上,也是这些操作系统的核心命令。作为一个...
  • hi各位大佬好,上面两篇都是关于数据处理,包括预处理及结果评价,那么这里就是模型训练了。 For Video Recommendation in Deep learning QQ Group ...其中俩参数分别表示啥意思啊?有点懵逼啊,看上...
  • BugFree7种解决方案各自含义: By Design - 就是这么设计,无效Bug Duplicate - 这个问题别人已经发现了,重复Bug External - 是个外部因素(比如...Not Repro - 无法复现你这个问题,无效Bug Po...
  • 关注一下你就不会有bug!作为操作系统中最基本模型,在面试中...意思很简单,就是生产者给生产链生产,而消费者从生产链中拿出。那关键点已经出来了,问题就在于怎么处理这一条生产链(正规叫法应该叫缓冲区)?伪码...
  • 这里的5-folder cross validation是五折交叉验证的意思: 把所有的数据等分为五份(因为是五折,如果是十折就是十份) 每一次选这五份中的一份作为测试集,剩下的就是训练集 直到每份都作为了一次测试集 也就是说...
  • 我们项目设置有报警监控(定时每隔10分钟访问一下网站一个固定链接),曾经有段时间,每天都会收到两三次报500错误邮件,但当自己再手动访问时却访问正常…这应该是最常见错误了,语法错误也能很快复现,只要把...
  • 本文导读:1,对TCMT模型的基本认识;2,本文的COMSOL仿真重复;...今天我们收到了复旦大学cqn同学的投稿,复现的是斯坦福大学范汕洄老师2003年的JOSAA,标题是Temporal coupled mode theory for the Fano resonan...
  • 最近在家闲快发霉了,无聊之下花了点功夫把部分代码在OSX上跑起来(之前都是在Win上开发),遇到...先干掉各种异步加载接口和构造最小可复现demo之后,对比发现是某个类数据很奇怪:直观看就是mNbVertices和mNb...
  • 而且这些都是很难复现的错误,那么这时候就会有小伙伴得意地说 “你不能复现,我就无法解决啊”,留下测试的小伙伴在那里一脸懵逼。嗯,真是甩的一口好锅,当然,这也不一定就是你的锅。资源加载失败的问题解决难度...
  • 但是对于合并不同的可能对应同样的意思标签,例如:#brownbear和#ursusarctos都表示棕熊,我不太明白作者是怎么通过wordnet实现的?反复读了他文章中解释这部分的内容,他是在hashtag...

空空如也

空空如也

1 2 3 4 5 6
收藏数 105
精华内容 42
关键字:

复现的意思