身为一个半路跑去学Python 的少年，上学期看了不少书，但练习地少，这学期我就多练练，今天就亮一手写个简单(只考虑程序的性能和可拓展性，没有考虑健壮性)的文本统计脚本，欢迎内行的人来指教

#coding=utf-8
''' 
    author:Frank.ZhangLongqi
    Date:2018-3-17
    function:
    对一列表内的元组进行分类，相同的分为一类，并计数,将结果写入字典
    解法：把该列表转化为默认字典(key值相同的value将会合并为list()),
    再对合并后的d.values()进行分别求和，最后将d.keys()和d.values()进行
    dic(zip(list1,list2))合并成字典即可；以下提供了2种形成默认字典的方法
    分别为count_word1和count_word2
'''
#*********************#导入区
import collections
import time
import operator
#*******************************************8#初期化区
d = collections.defaultdict(list)
value_set = {}

#********************************************#函数区
def read_file(filename):
    with open(filename,encoding="utf-8") as f:
        while True:
            c=f.read(1)
            if not c:
                break
            else:
                yield (c,1)#生成器,占内存少

def count_words1(filename):
    global value_set
    for tup in read_file(filename):#调用生成器
        k,v=tup[0],tup[1]
        value_set.setdefault(k,list()).append(v)

    word,counts =value_set.keys(),value_set.values()
    l=[]
    for i in counts:
        l.append(sum(i))
        
    return dict(zip(word, l))    #合并列表为字典

def count_words2(filename):
    global d
    for tup in read_file(filename):
        k,v = tup[0],tup[1]
        d[k].append(v)

    word,counts =d.keys(),d.values()
    l=[]
    for i in counts:
        l.append(sum(i))
        
    return dict(zip(word, l))    #合并列表为字典
#*******************************************#主函数区
if __name__ == '__main__':
    filename = "G:\第5学期\朋友.txt"
    #tup=read_file(filename)
    start=time.clock()
    result1 = count_words1(filename)
    mid=time.clock()
    result2 = count_words2(filename)
    end=time.clock()
    result_tmp=sorted(result1.items(),key=operator.itemgetter(1),reverse=True)#给统计结果排序
    result_1=dict(result_tmp)
    print("results1:{0}\n && internal:{1}".format(result_1,mid-start))
    print("results2:{0}\n && internal:{1}".format(result2,end-mid))
运行结果截图：

功能
最近无聊，写了一些代码，当我想统计这些代码的时候，却无法从网上找到合适的统计工具，所以便自己写了一个脚本，量身定制，用着比较舒服。
写在自己的博客上，供有需要的朋友们取用。
 
这是一个shell脚本，实现的功能如下：
1、统计注释行数（C和C++注释格式，其他语言的注释，在此脚本中没有考虑）
2、统计除去注释之外的空行数
3、统计除去注释和空行之外的代码行数
4、统计文件总行数
5、可输入多个目录
 
在代码中，对所统计的文件类型做了限制，默认只统计".c .h"后缀文件。自己可以根据需要，酌情修改。
该脚本可以同时输入多个目录作为参数，输出可以自己选择：每个文件的统计结果、每个目录（脚本输入参数）的统计结果、不在统计范围的文件的信息。通过修改脚本的几个全局控制变量即可达到此目的。
 
代码如下：
函数实现脚本libaccount.sh
#!/bin/sh
#print flag : default value is to print
#per file
pflag=1
#per dir
gflag=1
#invalid file
invalidflag=1
#default value
flagok=1

#global variable
gblank=0
gcomment=0
gtotal=0
#temp file suffix
tmpsuffix="tmp"

#per file variable
pblank=0
pcomment=0
ptotal=0

function init()
{
	gblank=0
	gcomment=0
	gtotal=0
	tmpsuffix="tmp"
	pblank=0
	pcomment=0
	ptotal=0
}

#print per file info
function printfileinfo()
{
	if [ "$pflag" -eq "$flagok" ]
	then
	echo "filename: "$1
	echo "total lines: "$ptotal
	echo "blank lines: "$pblank
	echo "comment lines: "$pcomment
	fi
}


#input filename(has path)
#account per file info
function accountonefile()
{
	#/*----*/
	#       /*-----*/
	#//
	#     //
	sed "/^[[:blank:]]*\/\*/,/\*\//d" $1 | sed "/^[[:blank:]]*\/\//d" > $1$tmpsuffix
	tsum=`cat $1 | wc -l`
	tnocom=`cat $1$tmpsuffix | wc -l`
	tnoblank=`sed -e "/^[[:blank:]]*$/d" $1$tmpsuffix | wc -l`
	
	ptotal=`expr $tsum`
	pblank=`expr $tnocom - $tnoblank`
	pcomment=`expr $tsum - $tnocom`
	
	rm -rf $1$tmpsuffix	

	printfileinfo $1
}

#only .c .h file is right
function validfile()
{
        pp=`echo $1 | awk -F"." '{print $NF}'`
        if [ "$pp" = "c" -o  "$pp" = "h"  ]
        then
                return 1
        else
                return 0
        fi
}

#print file info which is not in the account scope
function printnotinscope()
{
	if [ "$invalidflag" -eq "$flagok" ]
	then
        echo ""
        echo "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@"
        echo ""
        echo "file is not in the account scope   : "$1
        echo ""
        echo "@@@@@@@@@@@@@@@@@@@@@@@@@@@@@"
	fi
}

#traverse one dir including its subdirs and files
function loopdir()
{
        for file in `ls $1`
        do
                if [ -f $1"/"$file ]
                then
		validfile $file
		ret=`echo $?`
			if [ "$ret" == "1" ]
			then
				accountonefile $1"/"$file
				gblank=`expr $gblank + $pblank`
				gcomment=`expr $gcomment + $pcomment`
				gtotal=`expr $gtotal + $ptotal`
			else
				printnotinscope $1"/"$file
			fi
                fi
                if [ -d $1"/"$file ]
                then
                        echo ""
                        echo direcoty : $1"/"$file
                        loopdir $1"/"$file
                        echo ""
                fi
        done
}

#print per dir info
function printaccountresult()
{
	if [ "$gflag" -eq "$flagok" ]
	then
	validcode=0
	validcode=`expr $gtotal - $gcomment - $gblank`
	echo ""
	echo "*************$1****************"
	echo ""
	echo "total code lines    : "$gtotal
	echo "total blank lines   : "$gblank
	echo "total comment lines : "$gcomment
	echo "total valid lines   : "$validcode
	echo ""
	echo "*************$1***************"
	fi
}

可运行脚本account.sh
#!/bin/sh
. libaccount.sh
#account all the dirs
allblank=0
alltotal=0
allcomment=0

#whether to print according info or not

#okflag : print
#notokflag : not to print
okflag=1
notokflag=0
#per file info
pflag=$notokflag
#per dir info
gflag=$okflag
#invalid file info
invalidflag=$notokflag

function printlastresult()
{
        allvalidcode=0
        allvalidcode=`expr $alltotal - $allcomment - $allblank`
        echo ""
        echo "**************sum account************"
        echo ""
        echo "total code lines    : "$alltotal
        echo "total blank lines   : "$allblank
        echo "total comment lines : "$allcomment
        echo "total valid lines   : "$allvalidcode
        echo ""
        echo "**************sum account************"
}

#init global param for dir account
init

#traverse all the dirs
until [ $# -eq 0 ]
do
#travers the param
loopdir $1
#print per dir result
printaccountresult $1

allblank=`expr $allblank + $gblank`
alltotal=`expr $alltotal + $gtotal`
allcomment=`expr $allcomment + $gcomment`

init
#turn to next param
shift

done
#print the account result
printlastresult



 

python 日志分析统计脚本

脚本类似shell的tail功能，用来统计每分钟的4xx、5xx的状态码数量，统计php执行时间小于1秒、1-5秒、5秒以上的数量，和每秒的并发请求。将结果放到/tmp目录下， 也可以用cacti将结果画图。

#!/usr/bin/env python
import time, os

#-----------------------------
log_file = '/var/log/httpd/cmi_access_log'
#-----------------------------

log_name = log_file.split('/')[-1]
file = open(log_file, 'r')
lt1,to1_5,gt5,status4,status5,concurrent = 0,0,0,0,0,0
Time2 = '0'
st_results = os.stat(log_file)
st_size = st_results[6]
file.seek(st_size)
size = os.path.getsize(log_file)

while 1:
        Time = time.strftime("%Y_%m_%d",time.localtime(time.time() - 60))
        where = file.tell()
        line = file.readline()
        L = line.split('"')
        Time1 = time.strftime("%Y_%m_%d_%H:%M",time.localtime(time.time() - 60))
        if not line:
            size = os.path.getsize(log_file)
            if size < where:
                file = open(log_file, 'r')
            else:
                time.sleep(1)
                file.seek(where)
        else:
            try:
                Phptime = float(L[-2])
                url = L[1]
                status = L[2][1:4]
                if '4' in status[0]:
                    status4 += 1
                elif '5' in status[0]:
                    status5 += 1
                if Time1 in Time2:
                    if 'f5.php' not in url:
                        concurrent += 1
                        if Phptime < 1:
                                lt1 += 1
                        elif 1 <= Phptime <= 5:
                                to1_5 += 1
                        else:
                                gt5 += 1
                else:
                    concurrent = concurrent / 60
                    out = Time1 + "," + str(lt1) + "," + str(to1_5) + "," + str(gt5) + "," + str(status4) + "," + str(status5) + "," + str(concurrent)
                    F = open('/tmp/' + log_name + '_' + Time + '.data', 'a')
                    print >> F, out
                    F.close()
                    Time2 = Time1
                    lt1,to1_5,gt5,status4,status5,concurrent = 0,0,0,0,0,0
            except:
                pass

原创文章，转载请注明： 转载自gjw_apparitor 博客
本文链接地址: 
python 日志分析统计脚本




分享文章


打印文章
这篇文章由gjw_apparitor于2012 年 03 月 19 日 上午 3:17发表在Code。你可以订阅RSS
 2.0 也可以发表评论或引用到你的网站。

评论（1）





#1

guorui 

大约4月前 



写的不详细。。。。。 rrdtool生成文件，和写rddtool文件，取数据 画图的没写。.. 批评一下。:)

有时候，想统计下自己项目的代码量，通过与之前的版本相比，可以找出增加、删除、修改的代码量。本文就是为了完成这样的任务。
 
用到的shell命令：
diff：找出两个版本之间文件的差异
awk：分析diff结果，计算总的代码量
 
codediff.sh
#!/bin/sh
#!/bin/awk
function help()
{
	clear
	echo "Usage:"
	echo "./sh CurrentDir OriginalDir"
	exit;
}
if [ $# -ne 2 ]
then
	help
fi

diffres=$1"_"$2".diff"
diff -PN $1 $2 | sed -n -e '/^[[:digit:]]/p' > $diffres
cat $diffres | awk \
'BEGIN{
	FS="\n"
	x=1
	an=0
	dn=0
	cn=0
	msg=""
}

/a/{
	msg=substr($1,index($1,"a")+1)
	after=substr(msg,index(msg,",")+1)
        before=substr(msg,0,index(msg,",")-1)
        if(index(msg,",") == 0)
        {
                before=after
        }
        an=an+after-before+1	
}
/c/{
	msg=substr($1,0,index($1,"c")-1)
	after=substr(msg,index(msg,",")+1)
	before=substr(msg,0,index(msg,",")-1)
	if(index(msg,",") == 0)
	{
		before=after
	}
	cn=cn+after-before+1
}
/d/{
	msg=substr($1,0,index($1,"d")-1)
	after=substr(msg,index(msg,",")+1)
        before=substr(msg,0,index(msg,",")-1)
        if(index(msg,",") == 0)
        {
                before=after
        }
        dn=dn+after-before+1
}

END{
	print "add number:   "an"\n"
	print "delete number :"dn"\n"
	print "modify number :"cn"\n"
}'

rm -rf $diffres




脚本分析：
diff -PN $1 $2 | sed -n -e '/^[[:digit:]]/p' > $diffres
 
该命令的执行结果类似于：
0a1,259
0a1,16
1,109d0
1,13d0
9a10,12
17,19d19
2,4c2,3
7c6
16c15
22,23c21,22
1,61d0
其中，a是增加，d是删除，c是修改
 
awk部分主要是执行对上述结果的分析，/a/分析新增的代码，即a之后的数字差值加1，同理，/c/和/d/完成相同的功能，只是，分析的是c或d之前的两个数字差加1。
 
注：该脚本在统计的时候并没有除去注释，如果想除去注释后再统计的话，可以参考http://blog.csdn.net/pngynghay/article/details/21443199在连接博客中，有除去注释的命令，直接拿过来用用就行了。