local_localhost - CSDN
  • shell local命令

    2018-01-30 10:01:25
    作用:一般用于shell内局部变量的定义,多使用在函数内部 关于局部变量和全局变量: (1)shell 脚本中定义的变量是global的,作用域从被定义的地方开始,一直到shell结束或者被...函数定义的变量可以是local的,其

    作用:一般用于shell内局部变量的定义,多使用在函数内部

    关于局部变量和全局变量:
    (1)shell 脚本中定义的变量是global的,作用域从被定义的地方开始,一直到shell结束或者被显示删除的地方为止。
    (2)shell函数定义的变量也是global的,其作用域从 函数被调用执行变量的地方 开始,到shell或结束或者显示删除为止。函数定义的变量可以是local的,其作用域局限于函数内部。但是函数的参数是local的。
    (3)如果局部变量和全局变量名字相同,那么在这个函数内部,会使用局部变量。

    展开全文
  • Non-local算法笔记

    2018-04-19 22:21:37
    论文:Non-local Neural Networks for Video Classification 论文链接:https://arxiv.org/abs/1711.07971 代码链接:https://github.com/facebookresearch/video-nonlocal-net 这篇是CVPR2018的文章,将non ...

    论文:Non-local Neural Networks for Video Classification
    论文链接:https://arxiv.org/abs/1711.07971
    代码链接:https://github.com/facebookresearch/video-nonlocal-net

    这篇是CVPR2018的文章,将non local思想引入视频分类。这篇文章受传统的non-local mean operation启发,核心思想就是:our non-local operation computes the response at a position as a weighted sum of the features at all positions. 简单讲单纯的一层卷积操作其实都是很local的,因此为了达到non local的效果(也就是文中说的获取 long range dependency),一般就是不断叠加这样的特征提取层,这样高层网络的感受野(receptive field)就越来越大,获取的信息分布广度也越来越高。但是这种不断叠加的方式必然会带来计算量的增加和优化难度的增加,因此就有了本文作者提出的non local机制。

    non-local操作如公式1所示,表达的意思就是利用xi附近的xj的信息来得到yi。
    这里写图片描述

    公式1中的xi和xj的含义可以参考Figure1的图表解释,字面上也是非常容易理解non local这种操作,就是在提取某处特征时利用其周围点的信息,这个“周围”既可以是时间维度的,也可以是空间维度的。时间维度的话就如这篇文章中的视频分类例子一样,可以更好地利用时序上的信息。
    这里写图片描述

    那么公式1中的两个函数具体要怎么实现呢?
    在实验中为了简单计算,g()默认采用下面的形式(代码实现上通过卷积来实现):
    这里写图片描述

    而f()函数是文章研究的重点,文章中列举了f()函数的4种形式:
    1、Gaussian。
    这里写图片描述

    2、Embedded Gaussian。
    这里写图片描述

    3、Dot product。
    这里写图片描述

    4、Concatenation。
    这里写图片描述

    我们把Figure2中的这一部分截图下来,这一部分实现的就是f()操作,可以看出前面介绍的Embedded Gaussian就是截图的完整操作(因为softmax操作会有一个分母,也就是C(x),因此截图中的softmax操作就完成了f()函数的幂计算和除以C(x)计算);Gaussian就是对应截图中去掉θ和φ的结果;Dot product对应截图中将softmax换成1/N。
    这里写图片描述

    前面介绍的是f()函数的几种形式,接下来作者通过公式6将前面介绍的non local包装成一个block,这个block就类似ResNet网络中的block,这样non local操作就可以很方便地插入到现有的网络结构中。这里的yi就是前面公式1中的yi,W*y对应Figure2中右上角的1*1*1卷积;+xi就是residual connection,也就是Figure2中最上面的element-wise sum操作。
    这里写图片描述

    因此公式1+公式3+公式6就是Figure2。换句话说Figure2表示f()函数采取Embedded Gaussian且添加了residual connection的计算图。数据流是这样的:输入x的维度是T*H*W*1024,然后分别用数量为512,尺寸为1*1*1的卷积核进行卷积得到3条支路的输出,维度都是T*H*W*512,然后经过flat和trans操作得到THW*512、512*THW和THW*512的输出,前两条支路的两个输出进行矩阵乘法得到THW*THW的输出,经过softmax处理后再和第三条支路的输出做矩阵乘法得到THW*512维度的输出,将该输出reshape成T*H*W*512维度的输出后经过卷积核数量为1024,尺寸为1*1*1的卷积层并和原来的T*H*W*1024做element-wise sum得到最后的输出结果,这个element-wise sum就是ResNet网络中的residual connection。
    为了提高non local block的计算效率,作者还从两个角度做了优化:1、θ、φ和g操作的卷积核数量设定为输入feature map通道数的一半(Figure2中512对1024)。2、对φ和g输出采取pooling方式进行抽样,这样φ和g输出的feature map的size就减小为原来的一半。这二者在代码中都有体现。
    这里写图片描述

    从公布的代码来看,non local并不是对网络的每个block都引入,思考下原因可能是:non local机制的设计初衷就是为了获取全局信息,而原来的卷积操作是为了获取局部信息,二者相辅相成才能有好的效果。

    实验结果:
    Table2是在Kinetics数据集(视频分类)上的效果分析。(a)中对比了几种不同f()函数的结果,没有太大差别,后面的实验基本都是基于Embedded Gaussian。
    这里写图片描述

    Table3是在Kinetics数据集上和其他算法的对比,可以看出只采用RGB作为输入的non-local I3D算法效果还是很不错的。
    这里写图片描述

    Table5是non-local机制在COCO数据集上的检测和分割效果提升情况,基本上都能提升1个百分点。
    这里写图片描述

    展开全文
  • 目录 1. 官方求PI案例(直接运行已打成依赖jar包中的指定class) ...Local模式就是Spark运行在单节点的模式,通常用于在本机上练手和测试,分为以下三种情况: (1)local:所有计算都运行在一个线程中; (...

    目录

    1. 官方求PI案例(直接运行已打成依赖jar包中的指定class)

    2. 编写scala语言实现功能

    3. 整个Spark运算的流程:

    4. Spark中的Driver和Executor

    5. 总结Spark中各种组成部分的关系


    Local模式就是Spark运行在单节点的模式,通常用于在本机上练手和测试,分为以下三种情况:

    (1)local:所有计算都运行在一个线程中;

    (2)local[K]:指定K个线程来运行计算,通常CPU有几个Core(线程数),就指定K为几,最大化利用CPU并行计算能力;

    (3)local[*]:自动设定CPU的最大Core数;

    在API操作中体现在SparkConf的环节(配置信息),将Master(资源管理器)设定为哪种模式,对应几个线程:

     val conf = new SparkConf().setMaster("local[*]").setAppName("Application")

    1. 官方求PI案例(直接运行已打成依赖jar包中的指定class)

    首先启动单节点的HDFS(单节点已安装完毕Spark和Hadoop)

    [kevin@hadoop100 spark]$ bin/spark-submit \
    > --class org.apache.spark.examples.SparkPi \
    > --executor-memory 1G \
    > --total-executor-cores 2 \
    > ./examples/jars/spark-examples_2.11-2.1.1.jar \
    > 100
    

       bin/spark-submit是Spark的bin目录下一个提交任务脚本

       executor-memory,是给executor(具体计算功能的承担者)分配1G的内存

       total-executor-cores,指定每个executor使用的cup核数为2个

       最后的jar包是已经打成依赖的jar包;这个jar包可以是本地、也可以是HDFS中hdfs://、也可以是来自文件系统file:// path

    运行结果如下,该算法是利用蒙特·卡罗算法求PI

    Pi is roughly 3.1409291140929114
    

    2. 编写scala语言实现功能

    这里写一个WordCount的测试Demo程序:

    (1)在spark/input目录下,创建1.txt和2.txt文件

    [kevin@hadoop100 input]$ cat 1.txt 
    hello spark
    hello world
    [kevin@hadoop100 input]$ cat 2.txt
    hello hi
    kevin spark
    

    (2)启动spark-shell

    [kevin@hadoop100 spark]$ bin/spark-shell
    ....
    scala> 

    (3)运行WordCount的scala程序

    scala> sc.textFile("input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
    res0: Array[(String, Int)] = Array((world,1), (kevin,1), (hello,3), (spark,2), (hi,1))
    

    textFile("input"):读取本地文件,spark/input文件夹数据;

    flatMap(_.split(" ")):压平操作,按照空格分割符,将文件每一行数据映射(Map)成一个个单词;

    map((_,1)):对每一个单词操作,将单词映射为元组(单词,1);

    reduceByKey(_+_):形同key的value值进行聚合,相加;

    collect:将数据收集到Driver端展示。

    (4)登录4040端口,可以查看DAG图

    发现Executor中分成了两个stage来运算。

     

    3. 整个Spark运算的流程:

    Client提交Spark任务;

    Driver驱动器中初始化sc、任务划分、任务调度;然后像资源管理器ApplicationMaster注册应用程序,AM向Master申请资源,并分配给具体的Worker工作节点;

    在Worker中的Executor执行器执行任务,执行设定的textFile、flatMap等操作算子,

    最后通过collect算子反向注册给Driver,在Driver端显示运行结果。

     

    4. Spark中的Driver和Executor

    (1)Driver(驱动器):负责任务调度

    它负责开发人员编写的用来创建SparkContext、创建RDD,以及进行RDD的转化操作和行动操作代码的执行

    用API操作,Driver就是编写SparkContext的那个main方法的进程;

    用spark shell操作,启动shell时会自动生成一个叫做sc的SparkContext对象;

    主要作用:

    `   把用户程序转化成Job

    ·   跟踪Executor的运行状况

    ·   为Executor节点调度任务

    ·   UI展示应用程序执行结果

    (2)Executor(执行器)

    存在于Worker工作节点中,负责具体的spark运算任务的进程,并且可以实现HA和负载均衡,负责:

    ·   运行编写的spark任务,并将结果返回给Driver

    ·   RDD直接缓存在Executor中,实现基于内存的spark运算

     

    5. 总结Spark中各种组成部分的关系

    Spark中,Master和ApplicationMaster相当于Yarn中的ResourceManager和ApplicationMaster;前者分配全局资源,后者为任务向Master申请资源并分配给Worker;

    (1)Master和Applcation负责资源调度;

    (2)Driver负责任务调度;

    (3)Worker是具备资源环境的工作节点;

    (4)Executor在Worker中实现具体计算;

    (5)RDD直接缓存在Executor中,基于内存计算。

    一个物理节点可以有多个Worker,一个Worker可以包含多个Executor,一个Executor拥有多个Core和Memory

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    展开全文
  • Linux 的软件安装目录是也是有讲究的,理解.../usr/local:用户级的程序目录,可以理解为C:/Progrem Files/。用户自己编译的软件默认会安装到这个目录下。/opt:用户级的程序目录,可以理解为D:/Software,opt有可选...

    Linux 的软件安装目录是也是有讲究的,理解这一点,在对系统管理是有益的

    /usr:系统级的目录,可以理解为C:/Windows//usr/lib理解为C:/Windows/System32
    /usr/local:用户级的程序目录,可以理解为C:/Progrem Files/。用户自己编译的软件默认会安装到这个目录下。
    /opt:用户级的程序目录,可以理解为D:/Software,opt有可选的意思,这里可以用于放置第三方大型软件(或游戏),当你不需要时,直接rm -rf掉即可。在硬盘容量不够时,也可将/opt单独挂载到其他磁盘上使用。

    源码放哪里?
    /usr/src:系统级的源码目录。
    /usr/local/src:用户级的源码目录

    展开全文
  • 也不知道csdn传图怎么这个德行的。大家如果看不清就给浏览器放大就好了。chrom浏览器右上角3个点里有缩放点+号 localStorage的优势 1、localStorage拓展了cookie的4K限制 ...2、localStorage会可以将第一次请求的...
  • C:\Users\87549\AppData\Local\Packages 这个目录下有一个大约20多G的文件夹,里面放了很多未知文件,于是大胆删掉了,不知道会不会有什么其他影响,如果有影响在这里记录一下,以后注意点,如果没有影响之后直接...
  • 1.Lua 中的变量全是全局变量,无论语句块或是函数里,除非用 local 显式声明为局部变量,变量默认值均为nil 2.使用local创建一个局部变量,与全局变量不同,局部变量只在被声明的那个代码块内有效。(代码块:指的...
  • LOCAL_LDLIBS :链接的库不产生依赖关系,一般用于不需要重新编译的库,如库不存在,则会报错找不到。且貌似只能链接那些存在于系统目录下本模块需要连接的库。如果某一个库既有动态库又有静态库,那么在默认情况下...
  • # touch /etc/init.d/rc.local 设置为可执行: # chmod +x /etc/init.d/rc.local 用 update-rc.d 设置启动级别: # update-rc.d rc.local start 99 2 3 4 5 . stop 99 0 1 6 . 为了编辑方便,创建一个链接: # ln -s /...
  • ubuntu 18.04 配置 rc.local

    2018-07-25 16:31:01
    ubuntu 18.04 不再使用 inited 管理系统,改用 systemd  ... systemd 里面有个 rc-local.service 文件,里面有写到 rc.local 的启动顺序和行为,但是没用写加载这个 rc-local.service 。也就是说...
  • 从Ubuntu16.10以后,这个文件就不存在了 ...# rc.local # # This script is executed at the end of each multiuser runlevel. # Make sure that the script will "exit 0" on...
  • 很多情况下,我们希望限制ftp用户只能在其主目录下(root dir)下活动,不允许他们跳出主目录之外浏览服务器上的其他目录,这时候我就需要使用到chroot_local_user,chroot_list_enable,chroot_list_file这三个选项了...
  • rc.local简介

    2019-06-14 11:24:10
    rc.local 是启动加载文件 1、在ubuntu下要把一个程序加入开机启动,一般可以通过修改rc.local来完成,但ubuntu下有两个rc.local文件。分别是/etc/rc.local和/etc/init.d/rc.local。可以看一下两个文件的内容找到...
  • 场景:因为有事情需回到学校搞毕设,同事在公司说接口代码有问题,需要修改; 我用笔记本把代码同步到笔记本,然后做了一些修改、提交。修改完成。 ...第二天我来到公司(公司里用台式机,...error: Your local chan
  • 为了在树莓派启动的时候运行一个命令或程序,你需要将命令添加到rc.local文件中。这对于想要在树莓派接通电源后无需配置直接运行程序,或者不希望每次都手动启动程序的情况非常有用。 另一种替代定时任务的方法是...
  • 最近在学习过程中需要在Linux的启动脚本中添加一些命令,使之开机自动运行,可是添加过后怎么重启都没有执行,最后摸索了一会发现了问题所在:/etc/rc.d/rc.local没有执行权限 一开始百度了一下发现很多都说错了,...
  • local一般用于局部变量声明,多在在函数内部使用。 (1)shell脚本中定义的变量是global的,其作用域从被定义的地方开始,到shell结束或被显示删除的地方为止。 (2)shell函数定义的变量默认是global的,其作用域从...
  • [24-Oct-2013 07:16:22 Europe/Moscow] PHP Warning: PHP Startup: Unable to load dynamic library '/usr/local/lib/php/extensions/no-debug-non-zts-20090626/”xcache.so”' - /usr/local/li
  • Not allowed to load local resource: file:
  • 1.input type="datetime-local" min="2017-06-30T00:00">,把现有的时间格式赋值给他,必须是“yyyy-MM-dd HH:mm”这种格式的,切记:日期格式必须是2017-06-30 13:30这种的,不能是2017/06/30 13:30或2017-6-30 ...
1 2 3 4 5 ... 20
收藏数 1,949,504
精华内容 779,801
关键字:

local