-
2021-12-23 15:05:48
在ubuntu系统中经常会需要同时执行多个python程序,假如写在不同的脚本中,操作起来会比较繁琐。可以通过&符号来实现,示例如下:
(python train_01.py > 01.log) & (python train_02.py > 02.log)
建议加括号()把不同的程序放到一起,表示开启子shell。因为有些程序也包含&符号,不加括号容易出问题。此外,如果一行太长了,可以最后加 ‘\’ 换行。
更多相关内容 -
Shell-使用&和wait让你的脚本并行执行
2019-02-19 21:57:56我们知道shell中的命令都是串行执行的,如果想要充分利用服务器的资源,就需要些小技巧了。 假定业务上多个业务逻辑没有先后关系,每个脚本的执行时间也很长 ,推荐并行执行。 一般情况下,我们会把每个业务逻辑写到...
概述
我们知道shell中的命令都是串行执行的,如果想要充分利用服务器的资源,就需要些小技巧了。
假定业务上多个业务逻辑没有先后关系,每个脚本的执行时间也很长 ,推荐并行执行。
一般情况下,我们会把每个业务逻辑写到一个单独的脚本里,在服务器上逐一调用,每次都要手工去敲命令。
如果我们把这些脚本放到一个调用脚本里呢? 执行的时候去调用这个调用脚本,事实上linux会根据脚本中的顺序 串行去调用这些脚本,还不如自己在服务器上一个个的执行快呢,最起码手工逐个调用脚本还是并行的。
常见的串行执行
我们通过一个例子来演示下:
使用1.sh和2.sh模拟业务逻辑
[root@artisan test]# cat 1.sh #!/bin/bash echo "1.sh 开始执行....." echo "模拟业务逻辑,sleep 5秒, duang duang duang~~~" sleep 5s echo "1.sh 执行结束....."
[root@artisan test]# cat 2.sh #!/bin/bash echo "2.sh 开始执行....." echo "模拟业务逻辑,sleep 5秒, duang duang duang~~~" sleep 5s echo "2.sh 执行结束....." [root@artisan test]#
我们将调用脚本放到 call_serial.sh
[root@artisan test]# cat call_serial.sh #!/bin/bash #当前目录下执行如下脚本 相对路径 ./1.sh ./2.sh echo "继续执行剩下的逻辑..." [root@artisan test]#
执行call_serial.sh
call_serial.sh 可知为【串行】
使用&和wait改造
- 在每个进程中使用&符号进行让脚本在后台运行,无需等待当前进程结束。
- 为了确保每个进程都执行完成,最后务必使用wait关键字,用来确保每一个子进程都执行完成。
[root@artisan test]# cat call_parallel.sh #!/bin/bash #当前目录下执行如下脚本 相对路径 ./1.sh & ./2.sh & wait echo "继续执行剩下的逻辑..." [root@artisan test]#
执行下看看效果
call_parallel.sh 可知为【并行】
通过上述的改造,可以大大的提高多个进程并发执行的效率。 对于可以同时执行的业务逻辑,可以充分利用主机资源,减少等待时间。
示例二
serial.sh
#!/bin/bash beginTime=`date +%s` num=1 for i in `seq 1 3` do echo $i "业务逻辑 开始执行,当前时间:" `date "+%Y-%m-%d %H:%M:%S"` sleep 2s echo $i "业务逻辑 执行完成,当前时间:" `date "+%Y-%m-%d %H:%M:%S"` echo "-----------------------------------------------------------" done endTime=`date +%s` echo "总共耗时:" $(($endTime-$beginTime)) "秒"
从执行结果来看,串行,每个进程都要耗时2秒,3个进程6秒处理完成
使用&和wait关键字来改造上上述脚本,使其并行执行
parallel.sh
#!/bin/bash beginTime=`date +%s` num=1 for i in `seq 1 3` do { echo $i "业务逻辑 开始执行,当前时间:" `date "+%Y-%m-%d %H:%M:%S"` sleep 2s echo $i "业务逻辑 执行完成,当前时间:" `date "+%Y-%m-%d %H:%M:%S"` echo "-----------------------------------------------------------" # 结尾的&确保每个进程后台执行 }& done # wait关键字确保每一个子进程都执行完成 wait endTime=`date +%s` echo "总共耗时:" $(($endTime-$beginTime)) "秒"
从执行结果来看,并行,同时启动3个进程,3个进程2秒处理完成。
-
ubuntu shell命令大全
2016-10-27 18:26:15原文地址:ubuntu shell命令大全 作者:sun5411 前言 下面的命令大都需要在 控制台 / 终端 / shell 下输入。 控制台, 终端, 和 shell 意味着同样一件事 - 一个命令行界面, 他可以用来控制系统。 打开一个...前言
下面的命令大都需要在 控制台 / 终端 / shell 下输入。
控制台, 终端, 和 shell 意味着同样一件事 - 一个命令行界面, 他可以用来控制系统。
打开一个控制台:
应用程序 --> 附件 --> 终端
任何一个使用 'sudo' 作为前缀的命令都需要拥有管理员 (或 root) 访问权限。 所以你会被提示输入你自己的密码。
安装升级
查看软件xxx安装内容
dpkg -L xxx
查找软件库中的软件
apt-cache search 正则表达式
或
aptitude search 软件包显示系统安装包的统计信息
apt-cache stats
显示系统全部可用包的名称
apt-cache pkgnames
显示包的信息
apt-cache show k3b
查找文件属于哪个包
apt-file search filename
查看已经安装了哪些包
dpkg -l
查询软件xxx依赖哪些包
apt-cache depends xxx
查询软件xxx被哪些包依赖
apt-cache rdepends xxx
增加一个光盘源
sudo apt-cdrom add
系统升级
sudo apt-get update (这一步更新包列表)
sudo apt-get dist-upgrade (这一步安装所有可用更新)
或者
sudo apt-get upgrade (这一步安装应用程序更新,不安装新内核等)清除所有已删除包的残馀配置文件
dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P
如果报如下错误,证明你的系统中没有残留配置文件了,无须担心。
dpkg: --purge needs at least one package name argument
Type dpkg --help for help about installing and deinstalling packages [*];
Use `dselect' or `aptitude' for user-friendly package management;
Type dpkg -Dhelp for a list of dpkg debug flag values;
Type dpkg --force-help for a list of forcing options;
Type dpkg-deb --help for help about manipulating *.deb files;
Type dpkg --license for copyright license and lack of warranty (GNU GPL) [*].Options marked [*] produce a lot of output - pipe it through `less' or `more' !
编译时缺少h文件的自动处理
sudo auto-apt run ./configure
查看安装软件时下载包的临时存放目录
ls /var/cache/apt/archives
备份当前系统安装的所有包的列表
dpkg --get-selections | grep -v deinstall > ~/somefile
从上面备份的安装包的列表文件恢复所有包
dpkg --set-selections < ~/somefile
sudo dselect清理旧版本的软件缓存
sudo apt-get autoclean
清理所有软件缓存
sudo apt-get clean
删除系统不再使用的孤立软件
sudo apt-get autoremove
查看包在服务器上面的地址
apt-get -qq --print-uris install ssh | cut -d\' -f2
彻底删除Gnome
apt-get --purge remove liborbit2
彻底删除KDE
apt-get --purge remove libqt3-mt libqtcore4
系统
查看内核
uname -a
查看Ubuntu版本
cat /etc/issue
或 cat /etc/lsb-release
或 lsb_release –d –s –c查看内核加载的模块
lsmod
查看PCI设备
lspci
查看USB设备
lsusb
#加参数 -v 可以显示USB设备的描述表(descriptors)
lsusb -v查看网卡状态
sudo ethtool eth0
查看CPU信息
cat /proc/cpuinfo
显示当前硬件信息
sudo lshw
显示当前内存大小
free -m |grep "Mem" | awk '{print $2}'
查看硬盘温度
sudo apt-get install hddtemp
sudo hddtemp /dev/sda显示系统运行时间
$ uptime
11:47:04 up 85 days, 2:10, 1 user, load average: 2.40, 2.18, 2.34硬盘
查看硬盘的分区
sudo fdisk -l
硬盘分区
#危险!小心操作。
sudo fdisk /dev/sda硬盘格式化
#危险!将第一个分区格式化为 ext3 分区, mkfs.reiserfs mkfs.xfs mkfs.vfat
sudo mkfs.ext3 /dev/sda1硬盘检查
#危险!检查第一个分区,请不要检查已经挂载的分区,否则容易丢失和损坏数据
sudo fsck /dev/sda1分区挂载
sudo mount -t 文件系统类型 设备路经 访问路经
#常用文件类型如下: iso9660 光驱文件系统, vfat fat/fat32分区, ntfs ntfs分区, smbfs windows网络共享目录, reiserfs、ext3、xfs Linux分区
#如果中文名无法显示尝试在最後增加 -o nls=utf8 或 -o iocharset=utf8
#如果需要挂载後,普通用户也可以使用,在 -o 的参数後面增加 ,umask=022 如:-o nls=utf8,umask=022分区卸载
sudo umount 目录名或设备名
只读挂载ntfs分区
sudo mount -t ntfs -o nls=utf8,umask=0 /dev/sdb1 /mnt/c
可写挂载ntfs分区
sudo mount -t ntfs-3g -o locale=zh_CN.utf8,umask=0 /dev/sdb1 /mnt/c
挂载fat32分区
sudo mount -t vfat -o iocharset=utf8,umask=0 /dev/sda1 /mnt/c
挂载共享文件
sudo mount -t smbfs -o username=xxx,password=xxx,iocharset=utf8 //192.168.1.1/share /mnt/share
挂载ISO文件
sudo mount -t iso9660 -o loop,utf8 xxx.iso /mnt/iso
查看IDE硬盘信息
sudo hdparm -i /dev/hda
查看软raid阵列信息
cat /proc/mdstat
参看硬raid阵列信息
dmesg |grep -i raid
cat /proc/scsi/scsi查看SATA硬盘信息
sudo hdparm -I /dev/sda
或
sudo apt-get install blktool
sudo blktool /dev/sda id查看硬盘剩余空间
df
用法:df [选项]... [文件]...显示每个<文件>所在的文件系统的信息,默认是显示所有文件系统。
长选项必须用的参数在使用短选项时也是必需的。
-a, --all 包括大小为 0 个块的文件系统
-B, --block-size=大小 块以指定<大小>的字节为单位
-h, --human-readable 以容易理解的格式印出文件系统大小 (例如 1K 234M 2G)
-H, --si 类似 -h,但取 1000 的次方而不是 1024
-i, --inodes 显示 inode 信息而非块使用量
-k 即 --block-size=1K
-l, --local 只显示本机的文件系统
--no-sync 取得使用量数据前不进行同步动作 (默认)
-P, --portability 使用 POSIX 兼容的输出格式
--sync 取得使用量数据前先进行同步动作
-t, --type=类型 只印出指定文件系统为指定<类型>的信息
-T, --print-type 印出文件系统类型
-x, --exclude-type=类型 只印出文件系统不是指定<类型>信息
-v (忽略)
--help 显示此帮助信息并离开
--version 显示版本信息并离开查看目录占用空间
du -hs 目录名
优盘没法卸载
sync
fuser -km /media/usbdisk使用文件来增加交换空间
#创建一个512M的交换文件 /swapfile
sudo dd if=/dev/zero of=/swapfile bs=1M count=512
sudo mkswap /swapfile
sudo swapon /swapfile
#sudo vim /etc/fstab #加到fstab文件中让系统引导时自动启动
/swapfile swap swap defaults 0 0查看硬盘当前读写情况
# 首先安装 sysstat 包
sudo apt-get install sysstat
#每2秒刷新一次
sudo iostat -x 2进程
查看当前的内存使用情况
free
usage: free [-b|-k|-m|-g] [-l] [-o] [-t] [-s delay] [-c count] [-V]
-b,-k,-m,-g show output in bytes, KB, MB, or GB
-l show detailed low and high memory statistics
-o use old format (no -/+buffers/cache line)
-t display total for RAM + swap
-s update every [delay] seconds
-c update [count] times
-V display version information and exit连续监视内存使用情况
watch -d free
# 使用 Ctrl + c 退出动态显示进程执行情况
top
top指令运行时输入H或?打开帮助窗口,输入Q退出指令。查看当前有哪些进程
ps -AFL
统计程序的内存耗用
ps -eo fname,rss|awk '{arr[$1]+=$2} END {for (i in arr) {print i,arr[i]}}'|sort -k2 -nr
按内存从大到小排列进程
ps -eo "%C : %p : %z : %a"|sort -k5 -nr
按cpu利用率从大到小排列进程
ps -eo "%C : %p : %z : %a"|sort -nr
查看当前进程树
pstree
中止一个进程
kill 进程号(就是ps -A中的第一列的数字)
或者 killall 进程名强制中止一个进程(在上面进程中止不成功的时候使用)
kill -9 进程号
或者 killall -9 进程名图形方式中止一个程序
xkill 出现骷髅标志的鼠标,点击需要中止的程序即可
查看进程打开的文件
lsof -p 进程的pid
显示开启文件abc.txt的进程
lsof abc.txt
显示22端口现在运行什么程序
lsof -i :22
显示nsd进程现在打开的文件
lsof -c nsd
在后台运行程序,退出登录后,并不结束程序
nohup 程序 &
#查看中间运行情况 tail nohup详细显示程序的运行信息
strace -f -F -o outfile
增加系统最大打开文件个数
echo 4096 > /proc/sys/fs/file-max
#或者
ulimit -n 4096清除僵死进程
ps -eal | awk '{ if ($2 == "Z") {print $4}}' | xargs sudo kill -9
ubuntu shell 使用命令大全 3 xxx命令和压缩和cd2009-03-10 09:43查找关于xxx的命令
apropos xxx
man -k xxx通过ssh传输文件
scp -rp /path/filename username@remoteIP:/path #将本地文件拷贝到服务器上
scp -rp username@remoteIP:/path/filename /path #将远程文件从服务器下载到本地tar cvzf - /path/ | ssh username@remoteip "cd /some/path/; cat -> path.tar.gz" #压缩传输
tar cvzf - /path/ | ssh username@remoteip "cd /some/path/; tar xvzf -" #压缩传输一个目录并解压把所有文件的后辍由rm改为rmvb
rename 's/.rm$/.rmvb/' *
把所有文件名中的大写改为小写
rename 'tr/A-Z/a-z/' *
删除特殊文件名的文件,如文件名:--help.txt
rm -- --help.txt 或者 rm ./--help.txt
查看当前目录的子目录
ls -d */. 或 echo */.
将当前目录下最近30天访问过的文件移动到上级back目录
find . -type f -atime -30 -exec mv {} ../back \;
显示系统服务器一小时以内的包含 xxxx 的所有邮件
find /home/ -path "*Maildir*" -type f -mmin -60|xargs -i grep -l xxxx '{}'
将当前目录下最近2小时到8小时之内的文件显示出来
find . -mmin +120 -mmin -480 -exec more {} \;
删除修改时间在30天之前的所有文件
find . -type f -mtime +30 -mtime -3600 -exec rm {} \;
删除创建时间在30天之前的所有文件
find . -type f -ctime +30 -ctime -3600 -exec rm {} \;
查找guest用户的以avi或者rm结尾的文件并删除掉
find . -name '*.avi' -o -name '*.rm' -user 'guest' -exec rm {} \;
查找不以java和xml结尾,并7天没有使用的文件删除掉
find . ! -name *.java ! -name ‘*.xml’ -atime +7 -exec rm {} \;
删除当前目录里面所有的 .svn 目录
find . -name .svn -type d -exec rm -fr {} \;
删除当前目录所有以“~”结尾的临时文件
find . -name "*~" -exec rm {} \;
统计当前文件个数
ls /usr/bin|wc -w
统计当前目录下所有jpg文件的尺寸
find . -name *.jpg -exec wc -c {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}'
统计当前目录个数
ls -l /usr/bin|grep ^d|wc -l
统计当前目录下占空间最大的前10名文件或目录
du -sm * | sort -nr | head -10
显示当前目录下2006-01-01的文件名
ls -l |grep 2006-01-01 |awk '{print $8}'
备份当前系统到另外一个硬盘
sudo rsync -Pa / /media/disk1 --exclude=/media/* --exclude=/home/* --exclude=/sys/* --exclude=/tmp/* --exclude=/proc/* --exclude=/mnt/*
使用ssh方式同步远程数据到本地目录
rsync -Pa -I --size-only --delete --timeout=300 Remote_IP:/home/ubuntu/back /backup
使用ftp方式同步远程数据到本地目录
lftp -c "open Remote_IP;user UserName Password;set cache:enable false;set ftp:passive-mode false;set net:timeout 15;mirror -e -c /back /backup;"
去掉文件中的^M
#注意不要使用同样的文件名,会清空掉原文件
cat filename | tr -d "^M" > newfile;
或者
sed -e "s/^M//g" filename > newfile;转换bin/cue到iso文件
#sudo apt-get install bchunk
bchunk image.bin image.cue image转换目录到iso文件
mkisofs -o isofile.iso dirname
转换CD到iso文件
dd if=/dev/cdrom of=isofile.iso
影像
批量将rmvb转为avi
#ipod touch可用
for i in *; do mencoder -oac mp3lame -lameopts vbr=3 -ovc xvid -xvidencopts fixed_quant=4 -of avi $i -o `echo $i | sed -e 's/rmvb$/avi/'`; doneCD 抓轨为 mp3 (有损)
sudo apt-get install abcde;abcde -o mp3 -b
CD 抓轨为 Flac (无损)
sudo apt-get install abcde;abcde -o flac -b
ape 转换为 flac
#sudo apt-get install flac shntool iconv
iconv -f GB2312 -t UTF-8 example.cue -o example_UTF-8.cue
shntool split -t "%n.%p-%t" -f example_UTF-8.cue -o flac example.ape -d flacOutputDirape 转换为 mp3
#sudo apt-get install flac shntool lame iconv
iconv -f GB2312 -t UTF-8 example.cue -o example_UTF-8.cue
shntool split -t "%n.%p-%t" -f example_UTF-8.cue -o 'cust ext=mp3 lame --r3mix -b 320 --quiet - %f' example.ape -d mp3OutputDir批量将svg转为png
for i in *; do inkscape $i --export-png=`echo $i | sed -e 's/svg$/png/'`; done
批量缩小图片到30%
for i in *.jpg; do convert -resize 30%x30% $i sm-$i; done
批量转换jpg到png
for i in *; do convert $i `echo $i | sed -e 's/jpg$/png/'`; done
获取jpg的扩展信息(Exif)
identify -verbose xxx.jpg
压缩
增加 7Z 压缩软件
#支持 7Z,ZIP,Zip64,CAB,RAR,ARJ,GZIP,BZIP2,TAR,CPIO,RPM,ISO,DEB 压缩文件格式
sudo apt-get install p7zip p7zip-full p7zip-rar增加 rar 软件压缩和解压缩支持
sudo apt-get install rar unrar
解压缩 xxx.tar.gz
tar -zxvf xxx.tar.gz
解压缩 xxx.tar.bz2
tar -jxvf xxx.tar.bz2
压缩aaa bbb目录为xxx.tar.gz
tar -zcvf xxx.tar.gz aaa bbb
压缩aaa bbb目录为xxx.tar.bz2
tar -jcvf xxx.tar.bz2 aaa bbb
增加 lha 支持
sudo apt-get install lha
增加解 cab 文件支持
sudo apt-get install cabextract
Nautilus
显示隐藏文件
Ctrl+h
显示地址栏
Ctrl+l
特殊 URI 地址
* computer:/// - 全部挂载的设备和网络
* network:/// - 浏览可用的网络
* burn:/// - 一个刻录 CDs/DVDs 的数据虚拟目录
* smb:/// - 可用的 windows/samba 网络资源
* x-nautilus-desktop:/// - 桌面项目和图标
* file:/// - 本地文件
* trash:/// - 本地回收站目录
* ftp:// - FTP 文件夹
* ssh:// - SSH 文件夹
* fonts:/// - 字体文件夹,可将字体文件拖到此处以完成安装
* themes:/// - 系统主题文件夹查看已安装字体
fc-list
在nautilus的地址栏里输入”fonts:///“,就可以查看本机所有的fonts (这个似乎不行)日期和时间
显示日历
cal # 显示当月日历
cal 2 2007 # 显示2007年2月的日历设置日期
date -s mm/dd/yy
设置时间
date -s HH:MM
将时间写入CMOS
hwclock --systohc
查看CMOS时间
hwclock --show
读取CMOS时间
hwclock --hctosys
从服务器上同步时间
sudo ntpdate ntp.ubuntu.com
sudo ntpdate time.nist.gov设置电脑的时区为上海
sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
XP 和 Ubuntu 相差了 8 小时的时差
#关闭UTC,将当前时间写入CMOS。
sudo sed -ie 's/UTC=yes/UTC=no/g' /etc/default/rcS
sudo hwclock --systohc工作区
不同工作区间切换
Ctrl + ALT + ←
Ctrl + ALT + →
或者,将滚轮鼠标放在工作区图标上滚动控制台
指定控制台切换
Ctrl + ALT + Fn(n:1~7)
控制台下滚屏
SHIFT + pageUp/pageDown
控制台抓图
setterm -dump n(n:1~7)
只是支持tty1-7。没中文。没颜色代码序列。
一、今天阅读项目的sh脚本,特地看了下sh脚本的执行方法,发现还是挺多的,在网络上搜索到一些相关资料,罗列如下。
1. source命令或者点(.)命令用法:
source FileName
作用:在当前bash环境下读取并执行FileName中的命令。该filename文件可以无"执行权限"
注:该命令通常用命令“.”来替代。
这里的FileName不需要用 #!
如:source .bash_profile
. .bash_profile两者等效。
source(或点)命令通常用于重新执行刚修改的初始化文档。
source命令(从 C Shell 而来)是bash shell的内置命令。
点命令,就是个点符号,(从Bourne Shell而来)。
source的程序主体是bash,脚本中的$0变量的值是bash,而且由于作用于当前bash环境,脚本中set的变量将直接起效2 sh, bash的命令用法:
sh/bash FileName
作用:打开一个子shell来读取并执行FileName中命令。该filename文件可以无"执行权限"
注:运行一个shell脚本时会启动另一个命令解释器.
每个shell脚本有效地运行在父shell(parent shell)的一个子进程里.
这个父shell是指在一个控制终端或在一个xterm窗口中给你命令指示符的进程.
shell脚本也可以启动他自已的子进程.
这些子shell(即子进程)使脚本并行地,有效率地地同时运行脚本内的多个子任务.
在ubuntu中sh只是bash的一个链接。
由于是在子shell中执行,脚本设置的变量不会影响当前shell。
3、./的命令用法:
./FileName
作用:打开一个子shell来读取并执行FileName中命令。该filename文件需要"执行权限"
注:运行一个shell脚本时会启动另一个命令解释器.
每个shell脚本有效地运行在父shell(parent shell)的一个子进程里.
这个父shell是指在一个控制终端或在一个xterm窗口中给你命令指示符的进程.
shell脚本也可以启动他自已的子进程.
这些子shell(即子进程)使脚本并行地,有效率地地同时运行脚本内的多个子任务.
由于是在子shell中执行,脚本设置的变量不会影响当前shell。
二、第一个最常见的修改环境变量的命令:
export 功能说明:设置或显示环境变量。
语 法:export [-fnp][变量名称]=[变量设置值]
补充说明:在shell中执行程序时,shell会提供一组环境变量。export可新增,修改或删除环境变量,供后续执行的程序使用。export的效力仅限于该次登陆操作。
参 数:
-f 代表[变量名称]中为函数名称。
-n 删除指定的变量。变量实际上并未删除,只是不会输出到后续指令的执行环境中。
-p 列出所有的shell赋予程序的环境变量。
扩展:
set:显示(设置)shell变量 包括的私有变量以及用户变量,不同类的shell有不同的私有变量 bash,ksh,csh每中shell私有变量都不一样
env:显示(设置)用户变量变量
export:显示(设置)当前导出成用户变量的shell变量。
使用unset命令来清除环境变量,注意set env export设置的变量,都可以用unset来清除的
使用readonly命令设置只读变量
最根本的设置、更改变量的配置文件 ~/.bash_profile ~/.bashrc ~/.bash_logout
~/.bash_profile 用户登录时被读取,其中包含的命令被执行
~/.bashrc 启动新的shell时被读取,并执行
~/.bash_logout shell 登录退出时被读取
shell(这里指bash)的初始化过程是这样的:
1.bash 检查文件/etc/profile 是否存在
2. 如果存在,bash 就读取该文件,否则,跳过
3.bash 检查主目录下的文件.bash_profile 是否存在。
4. 如果存在,bash 就读取該文件,否则,跳过
5.bash 检查主目录下的.bash_login 是否存在。
6. 如果存在,bash 就读取该文件,否则,跳过
7.bash 检查主目录下的文件.profile 是否存在
8. 如果存在, bash 就读取该文件,否则,跳过。
这些步骤都执行完后,就出现提示符了, ksh 默认提示符是 $.
-
浅谈ubuntu执行.sh文件几种方式区别
2021-01-11 02:14:57前言 不同的script执行方式会造成不一样的结果,尤其对bash的环境影响很大,脚本的执行方式有大概以下几种方式。 首先写一个简单的test.sh文件: #!/bin/bash read -p Please input your first name: firstname ... -
ubuntu下shell脚本基础与入门
2014-10-11 11:14:02这些子shell(即子进程)使脚本并行地,有效率地地同时运行脚本内的多个子任务. 在ubuntu中sh只是bash的一个链接。 由于是在子shell中执行,脚本设置的变量不会影响当前shell。 3、./的命令用法...shell脚本学习推荐书籍:
《LINUX与UNIX Shell编程指南》
< < Advanced Bash-Scripting Guide > > ,即ABS
《Learning the bash shell》
一、今天阅读项目的sh脚本,特地看了下sh脚本的执行方法,发现还是挺多的,在网络上搜索到一些相关资料,罗列如下。
1. source命令或者点(.)命令用法:
source FileName
作用:在当前bash环境下读取并执行FileName中的命令。该filename文件可以无"执行权限"
注:该命令通常用命令“.”来替代。
这里的FileName不需要用 #!
如:source .bash_profile
. .bash_profile两者等效。
source(或点)命令通常用于重新执行刚修改的初始化文档。
source命令(从 C Shell 而来)是bash shell的内置命令。
点命令,就是个点符号,(从Bourne Shell而来)。
source的程序主体是bash,脚本中的$0变量的值是bash,而且由于作用于当前bash环境,脚本中set的变量将直接起效2 sh, bash的命令用法:
sh/bash FileName
作用:打开一个子shell来读取并执行FileName中命令。该filename文件可以无"执行权限"
注:运行一个shell脚本时会启动另一个命令解释器.
每个shell脚本有效地运行在父shell(parent shell)的一个子进程里.
这个父shell是指在一个控制终端或在一个xterm窗口中给你命令指示符的进程.
shell脚本也可以启动他自已的子进程.
这些子shell(即子进程)使脚本并行地,有效率地地同时运行脚本内的多个子任务.
在ubuntu中sh只是bash的一个链接。
由于是在子shell中执行,脚本设置的变量不会影响当前shell。
3、./的命令用法:
./FileName
作用:打开一个子shell来读取并执行FileName中命令。该filename文件需要"执行权限"
注:运行一个shell脚本时会启动另一个命令解释器.
每个shell脚本有效地运行在父shell(parent shell)的一个子进程里.
这个父shell是指在一个控制终端或在一个xterm窗口中给你命令指示符的进程.
shell脚本也可以启动他自已的子进程.
这些子shell(即子进程)使脚本并行地,有效率地地同时运行脚本内的多个子任务.
由于是在子shell中执行,脚本设置的变量不会影响当前shell。
二、第一个最常见的修改环境变量的命令:
export 功能说明:设置或显示环境变量。
语 法:export [-fnp][变量名称]=[变量设置值]
补充说明:在shell中执行程序时,shell会提供一组环境变量。export可新增,修改或删除环境变量,供后续执行的程序使用。export的效力仅限于该次登陆操作。
参 数:
-f 代表[变量名称]中为函数名称。
-n 删除指定的变量。变量实际上并未删除,只是不会输出到后续指令的执行环境中。
-p 列出所有的shell赋予程序的环境变量。
扩展:
set:显示(设置)shell变量 包括的私有变量以及用户变量,不同类的shell有不同的私有变量 bash,ksh,csh每中shell私有变量都不一样
env:显示(设置)用户变量变量
export:显示(设置)当前导出成用户变量的shell变量。
使用unset命令来清除环境变量,注意set env export设置的变量,都可以用unset来清除的
使用readonly命令设置只读变量
最根本的设置、更改变量的配置文件 ~/.bash_profile ~/.bashrc ~/.bash_logout
~/.bash_profile 用户登录时被读取,其中包含的命令被执行
~/.bashrc 启动新的shell时被读取,并执行
~/.bash_logout shell 登录退出时被读取
三、Bash shell的初始化过程
shell(这里指bash)的初始化过程是这样的:
1.bash 检查文件/etc/profile 是否存在
2. 如果存在,bash 就读取该文件,否则,跳过
3.bash 检查主目录下的文件.bash_profile 是否存在。
4. 如果存在,bash 就读取該文件,否则,跳过
5.bash 检查主目录下的.bash_login 是否存在。
6. 如果存在,bash 就读取该文件,否则,跳过
7.bash 检查主目录下的文件.profile 是否存在
8. 如果存在, bash 就读取该文件,否则,跳过。
这些步骤都执行完后,就出现提示符了, ksh 默认提示符是 $.
四、shell命令里常见的参数与运算符:
-e filename filename存在,则真 -d filename filename目录则真 -f filename filename常规文件,则真 -L filename filename符号链接则真 -r filename filename可读则真 -w filename filename可写则真 -x filename filename可执行则真 -s filename 文件长度0则真 -h filename 文件软链接则真 filename1 -nt filename2 filename1比 filename2新则真 filename1 -ot filename2 filename1比 filename2旧则真 -eq 等于 -ne 不等于 -gt 大于 -ge 大于等于 -lt 小于 -le 小于等于 至于!号取非呗
五、常见的shell变量
PATH 这个变量包含了一系列由冒号分隔开的目录,系统就从这些目录里寻找可执行文件。如果你输入的可执行文件(例如ls、rc-update或者emerge) 不在这些目录中,系统就无法执行它(除非你输入这个命令的完整路径,如/bin/ls)。
ROOTPATH 这个变量的功能和PATH相同,但它只罗列出超级用户(root)键入命令时所需检查的目录。
LDPATH 这个变量包含了一系列用冒号隔开的目录,动态链接器将在这些目录里查找库文件。
MANPATH 这个变量包含了一系列用冒号隔开的目录,命令man会在这些目录里搜索man页面。
INFODIR 这个变量包含了一系列用冒号隔开的目录,命令info将在这些目录里搜索info页面。
PAGER 这个变量包含了浏览文件内容的程序的路径(例如less或者more)。
EDITOR 这个变量包含了修改文件内容的程序(文件编辑器)的路径(比如nano或者vi)。
KDEDIRS 这个变量包含了一系列用冒号隔开的目录,里面放的是KDE相关的资料。
CONFIG_PROTECT 这个变量包含了一系列用空格隔开的目录,它们在更新的时候会被Portage保护起来。
CONFIG_PROTECT_MASK 这个变量包含了一系列用空格隔开的目录,它们在更新的时候不会被Portage保护起来。PATH:决定了shell将到哪些目录中寻找命令或程序
HOME:当前用户主目录
MAIL:是指当前用户的邮件存放目录。
SHELL:是指当前用户用的是哪种Shell。
HISTSIZE:是指保存历史命令记录的条数
LOGNAME:是指当前用户的登录名。
HOSTNAME:是指主机的名称,许多应用程序如果要用到主机名的话,通常是从这个环境变量中来取得的。
LANG/LANGUGE:是和语言相关的环境变量,使用多种语言的用户可以修改此环境变量。
PS1:是基本提示符,对于root用户是#,对于普通用户是$。
PS2:是附属提示符,默认是“>”。可以通过修改此环境变量来修改当前的命令符,比如下列命令会将提示符修改成字符串“Hello,My NewPrompt :) ”。
# PS1=" Hello,My NewPrompt :) " -
如何使用Parallel在Shell中并行执行命令
2021-05-10 23:45:19在Bash中没有内置并行运行命令的方法。GNU Parallel是用于执行此操作的工具。顾名思义,GNU Parallel可用于并行构建和运行命令。您可以使用不同的参数运行同一命令,无论它们是文件名,用户名,主机名还是从文件读取... -
在bash shell中并行运行命令
2020-01-20 08:42:30三种方式可以并行运行命令 使用parallel命令 结合使用&和wait命令 使用xargs命令 放任务到后端 command & command arg1 arg2 & custom_function & 或者 prog1 & prog2 & wait prog3 ... -
Ubuntu的并行启动
2010-01-22 17:52:00如果你在使用多核处理器,那么你可以配置Ubuntu的一个参数来使用Ubuntu的启动并行,以加快其启动速度。这个参数在文件/etc/init.d/rc中,其参数名是CONCURRENCY默认值是none,你可以把这个参数改成如下所示。于是,... -
shell脚本之统计进程数(ubuntu实测可用)
2020-06-15 09:48:29查看结果: root@ubuntu:~# vi 1.sh root@ubuntu:~# chmod +x 1.sh root@ubuntu:~# ./1.sh 进程统计信息如下 总进程数量为:72 Running 进程数为:0 Stoped 进程数为:0 Sleeping 进程数为:72 Zombie 进程数为:0 参考... -
编辑shell脚本执行ROS指令
2021-08-06 11:40:13编写在terminal中执行的shell指令,分好几种 ①启动roslaunch / rosrun / python / rostopic / source 等等 按照下面的格式,基本各种启动程序的指令都可以往里面套 gnome-terminal --tab --title="launch gazebo -
Ubuntu12.04 安装 LAMMPS GPU 并行版
2015-07-25 09:43:46系统:Ubuntu 12.04 GPU:Nvidia Geforce Titan X 其他:Openmpi-1.802 + fftw-3.3.4 + lammps-15May15 + CUDA-7.0 一.安装cuda 1.下载cuda-repo-ubuntu1204-7-0-local_7.0-28_amd64.deb 2.运行 3.sudo gedit /etc... -
Ubuntu 16.04系统中使用GCC 9.1及Intel TBB库运行C++17 STL并行算法库
2019-08-05 09:03:24C++17标准的最引人入胜之处就是STL并行算法库。如下述代码auto_parallel.cpp所示,仅仅在原有的STL算法中添加一个处理策略参数execution::par,就可以让其具备并行计算的能力: #include <algorithm> #include... -
mysql-parallel:一组脚本和工具,通过并行运行来加速 MySQL 转储和恢复
2021-06-13 08:15:45MySQL 的并行脚本 这些脚本用于并行运行 MySQL 转储和恢复,每个表一个作业。 这在大多数转储和恢复中带来了显着的性能提升,尤其是在使用 SSD 时。 默认情况下,将为系统可以运行的每个并发线程生成作业。 同样,将... -
Ubuntu系统单个终端下开启多个子窗口的方法
2021-11-11 11:37:17ubuntu系统下默认开启窗口的快捷指令是: ctrl+alt+t 一般开启多个tab的快捷指令是: ctrl+shift+t 在各个tab间切换用: ctrl + pageUp ctrl + pageDown 以上方法在单机操作时很好用。 但当登录操作远程... -
jarvisworkstation:适用于Ubuntu 20.04工作站的初始配置应用和软件包
2021-02-21 05:34:34它可以用于对原子建模,或者更一般地,它可以用作原子,中观或连续谱规模的并行粒子模拟器。 LAMMPS在单个处理器上运行,或者使用消息传递技术和模拟域的空间分解并行运行。 它的许多型号都具有可在CPU,GPU和... -
multi_gpu_test:在多GPU机器上使用PyTorch进行并行化
2021-04-23 12:08:39在多GPU机器上使用PyTorch进行并行化(已在Google Cloud GPU机器上测试) 设置带有一个或多个GPU的Google云机的脚本(要购买GPU机,请参阅以获取说明) Pytorch安装步骤/脚本 测试实用程序以检查多GPU执行 安装... -
Ubuntu16.04分布式并行版caffe
2017-12-19 14:42:54主体来自参考教程:... 并行版caffe下载地址:https://github.com/yjxiong/caffe.git 下载方法:git clone https://github.com/yjxiong/caffe.git 在安装caffe之前,要先装好cuda,cudnn,... -
Linux从头开始学--学习笔记3--ubuntu,文字编辑器vi,shell、bash和命令行,文件系统
2021-03-02 12:47:11文章目录Ubuntu跟CentOS的区别学习目标一.文字编辑器1.echo and cat2.vi编辑器3.vi命令3.emacs编辑器二.Shell,Bash和命令行1.shell2.bash3.**Interactive shells**4.环境变量5.自定义命令行提示符6.Shell命令中的... -
ubuntu ftp服务器上传文件
2021-08-12 01:49:59ubuntu ftp服务器上传文件 内容精选换一换已成功登录鲲鹏代码迁移工具。只有管理员用户(portadmin)可以执行白名单的升级操作。白名单解密依赖服务器操作系统中的OpenSSL组件,请确保当前环境中的OpenSSL组件版本不... -
Python下调用Linux的Shell命令 分类: ubuntu ...
2014-01-15 17:12:00有时候难免需要直接调用Shell命令来完成一些比较简单的操作,比如mount一个文件系统之类的。那么我们使用Python如何调用Linux的Shell命令?下面来介绍几种常用的方法: 1.os 模块 1.1. os模块的exec方法族 ... -
在Ubuntu上配置Caffe并行计算环境
2015-10-01 22:51:001.实验配置: 型号:中科曙光I450-G10双路塔式服务器 CPU:Intel Xeon E5-2620 v2 @2.1GHz x24 RAM:128GB DISK:2TB GPU0:NVIDIA Tesla K20C - 用于并行计算 GPU1:NVIDIA Quadro ...OS:Ubuntu 14.04 LTS 64bi... -
Linux架设小型集群--三台ubuntu16用于并行计算
2020-11-01 15:59:05实现目标 1、实现共享目录,即slave可以通过nfs访问master的一个目录 2、master可以登录slave的某个... 关于并行计算 这一点留着慢慢探索,可能使用shell脚本进行任务调度,既然我能登录其他的计算机,就能给他们下任务 -
ubuntu踩坑
2022-05-13 11:47:16“ubuntu 默认的 root ...所以:刚下载的ubuntu是没有root密码的,而且是随机的。。。 1. sudo passwd 2.su root hml@LAPTOP-9M23AK3R:/$ sudo passwd [sudo] password for hml: New password: Retype new password -
#include<mpi.h> #include<stdio.h> #include<math.h> #pragma comment(lib,"mpi.lib") #define N1 100 ...#define N3 10000 //n分别使用**100、1000、10000**计算结果 ...}
-
Ubuntu上MPI运行环境的配置
2021-04-26 19:53:43Ubuntu上MPI运行环境配置一、前言二、MPI运行环境配置(A)源码编译安装(B)通过apt-get install安装...PS:在进行并行实验时,因遇到问题,总结出来的实验心得 二、MPI运行环境配置 (A)源码编译安装 以下命令没有特 -
详解ubuntu双系统启动时卡死解决办法
2021-05-14 12:23:31ubuntu双系统启动时卡死解决办法(在ubuntu16.04和18.04测试无误)问题描述:在安装完ubuntu双系统后,第一次启动ubuntu系统时,卡死在启动界面(或者黑屏),这大概都是由于显卡驱动的原因,具体不在这里阐述,通过以下... -
ubuntu 18,问题总结
2018-08-19 22:52:47Wine应用启动后出现Wine System Tray 托盘的问题 wine_tray.png tray.png 操作系统Linux Mint18.3 右键点击面板(状态栏),选择 - 向面板添加小程序,选择小... 操作系统Ubuntu 18.04 安装gnome-shell插件... -
cpu并行和gpu并行_pytorch多gpu并行训练
2020-11-20 07:20:30目录目录pytorch多gpu并行训练1.单机多卡并行训练1.1.torch.nn.DataParallel1.2.如何平衡DataParallel带来的显存使用不平衡的问题1.3.torch.nn.parallel.DistributedDataParallel2.多机多gpu训练2.1.初始化2.1.1.... -
mkdir mpich