HISTSIZE
定义了 history 命令输出的记录数
HISTFILESIZE
定义了在文件 ~/.bash_history 中保存命令的记录总数

HISTTIMEFORMAT的配置，直接在文件 ~/.bashrc参数HISTFILESIZE下一行加如下代码：
HISTTIMEFORMAT='<%F %T> : '
那么利用 history 命令输出的命令记录应该向下面这个样子：
419 <2013-05-28 16:04:45> : history

1 显示时间信息：

    在linux下，历史命令记录是一个很重要的审计信息。默认的~/.bash_history是没有时间戳的，可以自己在.bashrc 或者/etc/profile文件中添加几行配置即可

    HISTTIMEFORMAT="%F %T "

    export HISTTIMEFORMAT

设置好之后，执行history命令，就会显示每条历史命令的详细执行时间

2 修改记录条数

修改/etc/profile中的HISTSIZE变量 eg

HISTSIZE=100000 将记录条数改为10W条

3 指定显示最近N条记录

history N

Linux下history是内置命令，终端下默认为开启状态，脚本中默认为关闭状态

终端查看开启状态 on开启 off关闭：set -o |grep history   

历史命令文件：~/.bash_history 默认1000行 

命令数量：HISTSIZE  终端下 echo $HISTSIZE查看

参数如下：

history N # 显示最近N条命令

history -c # 清空当前终端历史命令

history -d offset # 删除行号offset的命令

history -a ~.bash_history # 追加最近的历史命令到文件里 位于用户家目录里

history -n ~.bash_history # 追加历史文件命令到当前终端历史命令之后

history -r ~.bash_history # 读取历史文件命令代替当前终端历史命令

history -w ~.bash_history # 把当前终端历史命令写入文件

history -p

history -s

脚本中使用如下：

#！/bin/bash
#set -o |grep history 【关闭状态】
HISTFILE = ~./bash_history  # 历史命令存在的文件[隐藏文件]-用户家目录 [ls -a]查看
set -o history # 开启history
set -o |grep history # 查看状态
command = `history | awk 'END{print}'` # use do something
echo $command

 

 

title: linux shell编程

categories: shell

tags: [linux,shell,运维]

shell特性

history查看历史命令
ls ~./bash history
echo $HISTSIZE输出历史命令定义最多保留多少条的环境变量
!!表示上一条命令
!$表示上衣条命令最后一个参数
ls 111.txt
cat !$表示cat 111.txt，使用了上一条命令的最后一条参数
!950运行第950条命令
!c在历史命令中从最后往前看，第一个以 c 开头的命令
tab 键可以补全命令代码，连续按两下
alias 给命令做别名
alias aaa = 'cat 1.txt'之后执行aaa就表示的是cat 1.txt，但是只能在当前的终端中生效，要是别的也能够使用，就必须在配置文件中进行配置
unalias aaa取消别名
ls *.txt通配符 *
touch 2.txt穿件文件的命令
ls ?.txt匹配一个字符 ？
cat /etc/passwd | wc -l其中 | 表示的是管道符
cat /etc/passwd > 1.txt将前边命令的执行结果重定向到1.txt文件中，如果1.txt原来有数据，那么重定向会覆盖原有的数据
cat /etc/passwd >> 1.txt其中>> 表示的是追加
wc -l < 1.txt反重定向，将文件丢给命令，统计文件的行数
ls 111 2> 1.txt如果无法重定向，但是就是想重定向，那么在>之前加上2，即2>
2>会将原来的数据覆盖掉
2>>表示追加到后边
ls 111 2>>1.txt
cat 1.txt打开文件查看内容
ctrl c表示把一条正在执行的命令给stop掉
jobs命令可以查看stopped的命令或者后台正在运行的命令
sleep 100睡100
fg直接调回最近的优先级高的stooped的命令
fg 2指定调回哪个stopped的命令
bg将带有 + 号的stopped命令调到后台去执行
jobs查看一下结果

shell变量

env查看系统的变量
echo $HOSTNAME查看变量的名字，引用的时候也要加上$符号
set也可以显示系统的环境变量，比env多一些，还有一些自定义的一些变量等额外的变量
a=1自定义一个变量
set查看自定义的变量a=1
a=1; b=2定义变量，= 号两边不能有空格
echo $a $b输出变量的值
变量的名字

包含字母、数字、下划线
合格的名字：下划线_、字母开头的是合法的变量
别使用系统的关键字作为变量名


b='ls /tmp/'含有特殊符号的需要使用 ’ ’ 单引号引起来，变来那个的值就是这段字符串
myvim='which vim'可以使用反引号将命令的结果赋值给一个变变量，echo muvim显示出来
反引号就是Esc下边的 ` 键位
c="$a"12使用变量作为一部分，使用双引号进行区分开来
c=$myvim$a将两个变量进行组合
bash重新进入一个子shell中
exit退出子shell
export a=1声明全局变量
local a=2表示局部变量，在函数中使用，直接写是运行不出来的
vim /etc/profile将变量加入到这个文件中就能全局使用，所有的用户能够使用
unset d表示删除一个变量d

系统和用户的环境变量配置文件

环境变量 PATH  HOME SHELL



vim /etc/profile查看变量和定义变量


vim /etc/profile.d/path.sh在此文件下定义一个sh


在path中定义一个PATH的变量值
#！/bin/bash
export PATH=$PATH:/tmp/:/data/bin/





source /etc/profile将刚刚定义的path.sh生效


echo $PATH输出PATH环境变量，查看刚刚修改的结果


vim /etc/bashrc


echo $PS1输出命令的前缀，也就是root@username ~，如下：
ehcho $PS1 #输出结果是[\u@\h \w]\$

PS1='[\u@\h \w\$] '#修改变量之后继续执行后续命令
cd /etc/init.d #注意root@...部分发生了变化



vim /etc/profile.d


vim /etc/profile.d.umask.sh


#! /bin/bash在sh中可以加上也可以不用加上，值是说明是bash


umask 0012将umask的值改成0012，默认是0022


bashrc 和 profile 两个文件主要是定义一些关于系统级别的环境变量


ls -al显示目录下文件的详细信息


/etc/prifile是定义全局变量的，任何用户都能用的


.bash_profile文件当中可以定义用户自己的一些变量


.bashrc主要是定义一些别名


shell中的特殊字符

ls *.txt通配符*
ls ?.txt匹配一位
#ls *.txt加上#之后命令不生效，在shell脚本中主要是用来注释或者解释说明的
ls \#1.txt显示的是1.txt。\ 表示的是脱义符号，将#给去掉了
touch \#1.txt创建文件之后使用ls命令查看文件，发现创建了#1.txt文件
ls \#1.txt显示的是#1.txt文件
cat 1.txt | wc -l查看文件统计行数
echo $PATH其中$表示的是变量的前缀
!$表示的是上一个命令的最后一个参数
ls 1.txt;ls 2.txt其中 ; 用在两个命令的中间
ls ~表示用户的家目录，相当于ls root
sleep 10 &表示跑到后台执行
符号 > 表示的是重定向， >> 追加重定向， 2> 错误重定向 ，2>>错误追加重定向。< 反重定向：将右边文档的内容左定向给左边的命令作为参数
wc -l < 1.txt表示查看1.txt文件的行数
[0-9]是正则表达式，0-9的一位数字
ls [1 2].txt显示出1.txt和2.txt文件
ls [1-9a-g].txt要是其中有的文件就列出来

cut命令

cat /etc/passwd
cut -d:-f 3,4 /etc/passwd以 : 为分割符，将这个文件中的第三列（段）和第四列（段）分割出来
cut -c 10 /etc/passwd截取每一行的第十个字符
cut -c 1-10 /etc/passwd截取每一行的第一个到第十个字符

sort命令

sort /etc/passwd按照ASCii码进行排序
sort -t : -k3 /etc/passwd以 : 为分隔符，按第三列（段）进行排序，有点像字母的排序，如3在33的前边，一位一位的比较
sort -t: -k3 -n /etc/passwd按照数字的大小从小到大进行排序
sort -t: -k3,5 -n(-r)(-u) /etc/passwd指定范围的排序，在-n后边加上-r表示按数字倒序，-u表示去掉重复
sort -u 2.txt去掉重复的排序，没有指定数字-n排序的话就会将所有的字母都显示出来
sort -un 2.txt表示的是排序去掉重复，含有字母的只会剩下一个，他把字母看成一个了

wc命令

wc -l 1.txt求文件的行
wc -l 1.txt 2.txt分别显示行，最后加起来求和
wc -w 1.txt表示以空格为分割符，统计word数
wc -m 1.txt统计有多少字符，有换行符（隐藏的）
echo "12345" | wc -m统计字符

uniq和tee命令

uniq -c 2.txt只去掉挨着的重复
sort 2.txt |uniq -c先排序后去重复，统计重复的次数
echo "1111" >> 1.txt
echo "1111" | tee 1.txt重定向而且显示到屏幕上

rt和split命令

ls *.txt | tr 'a-z' 'A-Z'显示出txt文件，同时将小写的替换成大写的显示出来
echo "qqwersfdsf" | tr 'l' 'R'将 l 替换成 R
echo "qewrewrssdf" | tr 'a-f' 'A-F'将a到f的小写转换成大写
echo "qweqweqwewq" | tr 'qwe' 'QWE'
split 主要用来切割大文件
split -b 50m 1.txt将文件分割成50m一份一份的，不加上单位默认的是b
split -l 100 1.txt以100行分割成多个文件
split -b 100b 1.txt new_以100b分割成多个文件，分割之后的文件是new_aa，new_ab等名字的文件，不加上new_默认的是xaa，xab

shell中的连接符（并且、或者、和）

ls 1.txt && ls 2.txt前边的命令执行成功之后才会继续执行后边的命令
ls 1.txt || ls 2.txt前边命令返回成功之后后边的命令就不执行了，前边的没有执行成功后边的才会执行
&& 左边执行成功后才会去执行右边的命令（逻辑判断的时候用）
|| 左边执行不成功才会去执行右边的命令
; 分号左边的命令执行与否右边的命令都会执行

grep过滤1（正则表达式的使用）

grep 'root' /etc/passwd过滤匹配行
grep --color 'root' -n /etc/passwd标记颜色显示，-n表示显示行号
alias cg='grep --color'起别名
vim .bashrc将alias cg='grep --color'写到这个文件中就会永久有效
grep -c 'root' 1.txt其中-c表示出现了几行，包含root的行
grep -v 'root' 1.txt其中-v表示出现不包含root的行
grep -n -A 2 'root' 1.txt不仅仅将包含root的行显示出来，-A同时还要将此行的后边两行也显示出来
grep -n -B 2 'root' 1.txt显示包含root的行，-B同时将其前边的两行也显示出来
grep -n -C 2 'root' 1.txt显示包含root的行，-C表示把上下各两行都显示出来
grep -r 'iptables' /etc/*匹配文件
grep -rh 'iptables' /etc/*匹配文件，不显示文件名字

grep过滤2

grep -n 'word' 1.txt显示行号
grep -v 'nologin' 1.txt不包含的行
grep [0-9] 1.txt1.txt包含数字的行，[0-9]中括号表示其中之一
grep '[AN]' 1.txt包含A或者N
grep '[a-zA-Z]' 1.txt所有包含字母的行
grep -v '[a-zA-Z]' 1.txt所有不包含字母的行
grep '^[a-z]' 1.txt以小写字母开头的行（数字开头，不以数字开头的行）
grep '[^0-9]' 1.txt表示0-9意外的行，意思是不包含数字的行
grep '^[^0-9]' 1.txt不以数字开头的行
grep '^$' 1.txt表示空行，^表示的是开始，$表示的是结尾
grep -v '^$' 1.txt表示不是空行
grep 'r.o' 1.txt表示匹配r_o，r和o之间是任意一个字符，使用 . 表示
grep 'r*o' 1.txt表示有任意多个r，零个或者是多个，所以单独出现的o也能匹配得到
grep 'r.*o' 1.txt表示r开头o结尾的都能够匹配的到，***** 表示任意个数*****之前那个字符
grep 'r\?o' 1.txt表示0个或者1个？号前边那个字符 r
grep -E 'r?o' 1.txt其中-E和脱义符号 \ 是一样的意思，grep -E == egrep

grep过滤3

egrep --color 'r+o' 1.txt一个或者多个+号前边那个字符
egrep --color 'root|nologin' 1.txt其中 | 表示 或 的意思
grep --color 'root' 1.txt | grep --color 'nologin'能够实现 并且 的意思，不能使用 & 符号
egrep --color '(rr)+' 1.txt出现一次或者多次 rr 整体
egrep --color '(rr){1,3}' 1.txt出现一到三次 rr 整体
grep --color '\(rr\)\{5,6\}' 1.txt使用grep的时候必须使用脱义符号 \

sed命令1

sed -n '10'p 1.txt打印第十行，p表示打印的意思
sed -n '1,10'p 1.txt打印第一到十行
sed -n '20, $'p 1.txt从第20行到尾行
wc -l 1.txt统计多少行
sed -n '/root/'p 1.txt包含root的行
sed -n '/r.o/'p 1.txt匹配r_o，其中 . 表示的是任意一个字符
sed -n '/r*o/'p 1.txt匹配任意个 r
sed -n '/r.*o/'p 1.txt匹配任意个字符
sed -n '/r\?o/'p 1.txt表示0个或者1个 r ，其中 \ 是脱义符号
sed -n '/r\+o'p 1.txt表示1个或者多个 +前边的那个字符 r
sed -n '/root\|nologin/'p 1.txt表示或者
sed -n '/\(oo\)\+/'p 1.txt表示1个或者多个 oo 组合
类似于grep和egrep总的-E选项一样，属于脱义符号的选项，在sed命令中-r选项就是脱义符号选项
sed -r -n '/(rr)+/'p 1.txt表示的是1个或者多个rr组合
在grep中使用的正则表达式在sed命令中也一样的能够使用
sed -n -r '/[0-9]/'p 1.txt打印一个0到9之间的数字
sed -n -r '/[^0-9]/'p 1.txt打印不是数字的，就是不包含数字
sed -n -r '/[^a-zA-Z]/'p 1.txt打印非字母的
sed -n -r '/^$'p 1.txt表示的是空行
sed '/^$/'d 1.txt表示的是去掉空行，d的效果和grep中的-v效果是一样的
sed '/[0-9]/'d 1.txt表示去掉包含数字的行
sed '/[a-zA-Z]/'d 1.txt表示去掉包含字母的行
sed '/1,19/'d 1.txt去掉1到19行
sed -i '/1,19'd 1.txt真正的删除掉1到19行，-i 选项很危险

sed命令2

sed '1,10s/nologin、login/g' 1.txt查找1到10行的 nologin ，同时使用login进行全局替换
cat 1.txt
sed '1,10s/\sbin\/nologin/login/g' 1.txt使用脱义符号，将/sbin/nologin修改成login
sed '1,10s#/sbin/nologin#login#g' 1.txt在使用脱义符号的时候，将/使用#或者@符号代替，从而进行区分，将1到10行的/sbin/nologin修改成login
sed 's#/sbin/nologin#login#g'将全局的/sbin/nologin修改成login
sed 's#^.*$#& login#g' 1.txt使用login在每行的末尾加上login，而且login前边加上空格
sed 's#[0-9]##g' 1.txt将数字删除掉，使之为空
sed 's#[a-zA-Z]##g' 1.txt将字母删除掉，使之为空
sed 's#[^a-zA-Z]##g' 1.txt将除了字母的符号删除掉，使之成为空
sed -r 's#(^[a-z]+)(:.*:)(.*$)#\3\2\1#g' 1.txt将第一个单词（字母单词）和最后一个进行替换，以 : 为分割
sed -r 's#(^[a-z0-9]+)(:.*:)(.*$)#\3\2\1#g' 1.txt将第一个单词（包含数字）和最后一个进行替换，以 : 为分割
sed -n '/root/p; /wuwafei/p' 1.txt讲包含root的行和wuwanfei的行打印出来，p 写在里边了，两个单词都包含的行会显示两次
sed -n -r '/user|wuwanfei/p' 1.txt两个单词都包含的行显示一次
sed -n -e '/user/p' -e '/wuwanfei/p' 1.txt使用-e选项就是表示多个表达式写在一个命令中，这样包含两者的重复出现

awk命令1（能实现分段和更多的功能，包括数学运算，比较和逻辑运算）

cp /etc/passwd 1.txt复制一个文件案例
awk -F ':' '{print $3,$4}' 1.txt打印第三段和第四段，以 : 界定
awk -F ':' 'OFS=":" {print $3,$4}' 1.txt打印第三段和第四段，以OFS指定 : 分割符显示出来
awk '/user/' 1.txt匹配user行
awk '/user|root/' 1.txt匹配包含user或者root行
awk '/r*o/' 1.txt表示匹配任意多个r
awk '/r?o/' 1.txt一个或者0个r
awk 'r+o/' 1.txt一个或者多个r
awk '/r.*o/' 1.txt第一个是r最后一个是o
awk '/(oo)+/' 1.txt一对或者多对oo
awk '/(oo){2,10}/' 1.txt不会出现结果，因为awk不去匹配 { } 花括号
grep -E --color '(oo){2,10}' 1.txt其中grep可以使用 { } 花括号实现匹配，2-10个oo在一起的行
awk -F ':' '$1~/r*o/' 1.txt匹配第一段($1 表示第一段)中的任意一个r，最后接上一个o的行
awk -F ':' '$1~/r*o/ {print $3}' 1.txt只显示第三段
awk -F ':' '$1~/r*o/ {print $1,$3}; $1~/user/ {print $1,$3}' 1.txt同样的行会出现两次重复，两个规则
awk -F ':' '$1~/r*o|nobody/ {print $1,$3}' 1.txt同样的行只显示一次，只有一个规则

awk命令2

awk -F ':' '$3=="nobody"' 1.txt条件筛选出第3段等于nobody的行
awk -F ':' '$3 =="nobody" || $7~/nolog/' 1.txt筛选出第三段等于nobody或者第七段包含nolog的行
awk -F ':' '$3>=500' 1.txt按照数字第三段大于等于500的行
awk -F ':' '$7 != "/sbin/nologin"' 1.txt不等于/sbin/nologin的行
awk -F ':' '$7!~/nolog/' 1.txt不匹配nolog的行
awk -F ':' '$3 >="500"' 1.txt按照ASCii码进行排序大于500的行
awk -F ':' '$3<$4' 1.txt段和段之间进行比较
awk -F ':' '$3==$4' 1.txt判断
awk -F ':' 'OFS=":";$3=$4' 1.txt分割符 :
awk -F ':' 'OFS=":";{if($3>100);$7=$3+$4}' 1.txt

awk命令3

内置变量


awk -F ':' 'NR<10' 1.txt前9行打印出来
awk -F ':' 'NR>10' 1.txt大于10的行显示出来
awk -F ':' 'NR==10' 1.txt
awk -F ':' 'NR==10 {print $1,$7}' 1.txt打印第10行的第1段和第7段
awk -F ':' 'OFS=":" {if(NR==10) print $1,$7}' 1.txt
awk -F ':' '{print NF}' 1.txt查看每行有多少段
awk -F ':' '{if(NF==7)print $1}' 1.txt如果段数等于7，打印出第一段来
awk -F ':' '{print $NR,$NF}' 1.txt打印出每一行的第NR段和第NF列，如第一行的第一列和7列
OFS表示的是分割符，NR表示的是行，NF表示的是段（列）
awk -F ':' '$7=$3+$4' 1.txt被修改之后没有分割符
awk -F ':' 'OFS=":" {$7=$3+$4; print $1,$3}' 1.txt加上分割符
awk -F ':' '{(sum=sum+$3);{END {print sum}}' 1.txt循环求出第三段的和