之前用 Python 写过一个脚本，用来处理上千万用户的一些数据，其中有一个需求是统计用户的某一数据的去重数量。为了加快程序的速度，我启用了多进程。但不幸的是，程序跑了近一个星期，还没处理完。这时，我感觉到了不对，于是开始查看程序的性能瓶颈。
对于统计去重数，我是将用户的数据放到一个列表中，然后用 len(set(data)) 去统计去重数量。刚开始我以为这的数据量并不大，每个用户的数据不会过百，我并没有注意到有的用户会有上万条的数据，因此消耗了大量的时间（其实我的脚本消耗时间最大的地方是因为从远程 redis 中取大量数据时发生长时间的阻塞，甚至连接超时，最后我采用的方式分而治之，每次取少量的数据，这样大大的提高了性能）。
为了做优化，我开始寻求高效的方法。我发现，有大量的人认为采用字典效率会更高，即：
data_unique = {}.fromkeys(data).keys()
len(data_unique)
于是，我做了下测试：
In [1]: import random
In [2]: data = [random.randint(0, 1000) for _ in xrange(1000000)]
In [3]: %timeit len(set(data))
10 loops, best of 3: 39.7 ms per loop
In [4]: %timeit len({}.fromkeys(data).keys())
10 loops, best of 3: 43.5 ms per loop
由此可见，采用字典和采用集合的性能是差不多的，甚至可能还要慢些。
在 Python 中其实有很多高效的库，例如用 numpy、pandas 来处理数据，其性能接近于 C 语言。那么，我们就用 numpy 和 pandas 来解决这个问题，这里我还比较了获取去重数据的性能，代码如下：
import collections
import random as py_random
import timeit
import numpy.random as np_random
import pandas as pd
DATA_SIZE = 10000000
def py_cal_len():
data = [py_random.randint(0, 1000) for _ in xrange(DATA_SIZE)]
len(set(data))
def pd_cal_len():
data = np_random.randint(1000, size=DATA_SIZE)
data = pd.Series(data)
data_unique = data.value_counts()
data_unique.size
def py_count():
data = [py_random.randint(0, 1000) for _ in xrange(DATA_SIZE)]
collections.Counter(data)
def pd_count():
data = np_random.randint(1000, size=DATA_SIZE)
data = pd.Series(data)
data.value_counts()
# Script starts from here
if __name__ == "__main__":
t1 = timeit.Timer("py_cal_len()", setup="from __main__ import py_cal_len")
t2 = timeit.Timer("pd_cal_len()", setup="from __main__ import pd_cal_len")
t3 = timeit.Timer("py_count()", setup="from __main__ import py_count")
t4 = timeit.Timer("pd_count()", setup="from __main__ import pd_count")
print t1.timeit(number=1)
print t2.timeit(number=1)
print t3.timeit(number=1)
print t4.timeit(number=1)
运行结果：
12.438587904
0.435907125473
14.6431810856
0.258564949036
利用 pandas 统计数据的去重数和去重数据，其性能是 Python 原生函数的 10 倍以上。

之前用 Python 写过一个脚本，用来处理上千万用户的一些数据，其中有一个需求是统计用户的某一数据的去重数量。为了加快程序的速度，我启用了多进程。但不幸的是，程序跑了近一个星期，还没处理完。这时，我感觉到了不对，于是开始查看程序的性能瓶颈。
对于统计去重数，我是将用户的数据放到一个列表中，然后用 len(set(data)) 去统计去重数量。刚开始我以为这的数据量并不大，每个用户的数据不会过百，我并没有注意到有的用户会有上万条的数据，因此消耗了大量的时间(其实我的脚本消耗时间最大的地方是因为从远程 redis 中取大量数据时发生长时间的阻塞，甚至连接超时，最后我采用的方式分而治之，每次取少量的数据，这样大大的提高了性能)。
为了做优化，我开始寻求高效的方法。我发现，有大量的人认为采用字典效率会更高，即：
data_unique = {}.fromkeys(data).keys()
len(data_unique)
于是，我做了下测试：
In [1]: import random
In [2]: data = [random.randint(0, 1000) for _ in xrange(1000000)]
In [3]: %timeit len(set(data))
10 loops, best of 3: 39.7 ms per loop
In [4]: %timeit len({}.fromkeys(data).keys())
10 loops, best of 3: 43.5 ms per loop
由此可见，采用字典和采用集合的性能是差不多的，甚至可能还要慢些。
在 Python 中其实有很多高效的库，例如用 numpy、pandas 来处理数据，其性能接近于 C 语言。那么，我们就用 numpy 和 pandas 来解决这个问题，这里我还比较了获取去重数据的性能，代码如下：
import collections
import random as py_random
import timeit
import numpy.random as np_random
import pandas as pd
DATA_SIZE = 10000000
def py_cal_len():
data = [py_random.randint(0, 1000) for _ in xrange(DATA_SIZE)]
len(set(data))
def pd_cal_len():
data = np_random.randint(1000, size=DATA_SIZE)
data = pd.Series(data)
data_unique = data.value_counts()
data_unique.size
def py_count():
data = [py_random.randint(0, 1000) for _ in xrange(DATA_SIZE)]
collections.Counter(data)
def pd_count():
data = np_random.randint(1000, size=DATA_SIZE)
data = pd.Series(data)
data.value_counts()
# Script starts from here
if __name__ == "__main__":
t1 = timeit.Timer("py_cal_len()", setup="from __main__ import py_cal_len")
t2 = timeit.Timer("pd_cal_len()", setup="from __main__ import pd_cal_len")
t3 = timeit.Timer("py_count()", setup="from __main__ import py_count")
t4 = timeit.Timer("pd_count()", setup="from __main__ import pd_count")
print t1.timeit(number=1)
print t2.timeit(number=1)
print t3.timeit(number=1)
print t4.timeit(number=1)
运行结果：
12.438587904
0.435907125473
14.6431810856
0.258564949036
利用 pandas 统计数据的去重数和去重数据，其性能是 Python 原生函数的 10 倍以上。

首先，看看本文所面向的应用场景：我们有一个数据集df，现在想统计数据中某一列每个元素的出现次数。这个在我们前面文章《如何画直方图》中已经介绍了方法，利用value_counts()就可以实现(具体回看文章)
但是，现在，我们考虑另外一个场景，我们假如要想统计其中两列元素出现次数呢？举个栗子：
在df数据集中，如果我们想统计A、B两列的元素的出现情况，也就是说，得到如下表。
从上面的最后一列可以看到，在A、B两列中，1 2 出现了2次，1 4 出现1次 ，1 6出现1次，2 3出现了2次， 2 4 出现1次， 3 1出现了1次
具体实现的代码：
import pandas as pd
df=pd.DataFrame([[1,2,2],[1,4,5],[1,2,4],[1,6,3],[2,3,1],[2,4,1],[2,3,5],[3,1,1]],columns=['A','B','C'])
gp=df.groupby(by=['A','B'])
gp.size()
所以，如果想统计更多列，只要在groupby()中的by参数添加就可以，例如统计3列。
gp=df.groupby(by=['A','B','C'])
由gp.size()得到的是可以mulitiindex Series。
下面，要转化成DataFrame的结构。
newdf=gp.size()
newdf.reset_index(name='times')
其中name中参数就是我们可以为最后一列添加新的名字，例如这里的“times”
这个时候newdf已经是DataFrame的类型了。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。
本文标题: 详解python pandas 分组统计的方法
本文地址: http://www.cppcns.com/jiaoben/python/267054.html

Python
Python开发
Python语言
python-itchat 统计微信群、好友数量的实例
            
今天小编就为大家分享一篇python-itchat 统计微信群、好友数量,及原始消息数据的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
效果：
好友：
# 获取自己的用户信息，返回自己的属性字典
itchat.search_friends()
# 获取特定UserName的用户信息
itchat.search_friends(userName='@abcdefg1234567')
# 获取任何一项等于name键值的用户
itchat.search_friends(name='wxceshi')
# 获取分别对应相应键值的用户
itchat.search_friends(wechatAccount='wceshi')
# 三、四项功能可以一同使用
itchat.search_friends(name='wxceshi', wechatAccount='wcceshi')
公众号：
公众号的获取方法为get_mps，将会返回完整的公众号列表。
其中每个公众号为一个字典
传入update键为True将可以更新公众号列表并返回
公众号的搜索方法为search_mps，有两种搜索方法：
1.获取特定UserName的公众号
2.获取名字中含有特定字符的公众号
如果两项都做了特定，将会仅返回特定UserName的公众号，下面是示例程序：
# 获取特定UserName的公众号，返回值为一个字典
itchat.search_mps(userName='@abcdefg1234567')
# 获取名字中含有特定字符的公众号，返回值为一个字典的列表
itchat.search_mps(name='gzh')
# 以下方法相当于仅特定了UserName
itchat.search_mps(userName='@abcdefg1234567', name='gzh')
群聊：
群聊的获取方法为get_chatrooms，将会返回完整的群聊列表。
其中每个群聊为一个字典
传入update键为True将可以更新群聊列表并返回通讯录中保存的群聊列表
群聊列表为后台自动更新，如果中途意外退出存在极小的概率产生本地群聊消息与后台不同步
为了保证群聊信息在热启动中可以被正确的加载，即使不需要持续在线的程序也需要运行itchat.run()
如果不想要运行上述命令，请在退出程序前调用-itchat.dump_login_status()，更新热拔插需要的信息
群聊的搜索方法为search_chatrooms，有两种搜索方法：
1.获取特定UserName的群聊
2.获取名字中含有特定字符的群聊
如果两项都做了特定，将会仅返回特定UserName的群聊，下面是示例程序：
群聊用户列表的获取方法为update_chatroom。
群聊在首次获取中不会获取群聊的用户列表，所以需要调用该命令才能获取群聊的成员
该方法需要传入群聊的UserName，返回特定群聊的用户列表
memberList =itchat.update_chatroom('bcdefg67')
创建群聊、增加、删除群聊用户的方法如下所示：
由于之前通过群聊检测是否被好友拉黑的程序，目前这三个方法都被严格限制了使用频率
删除群聊需要本账号为群管理员，否则会失败
将用户加入群聊有直接加入与发送邀请，通过useInvitation设置
超过40人的群聊无法使用直接加入的加入方式，特别注意
memberList =itchat.get_friends()[1:]
# 创建群聊，topic键值为群聊名
chatroomUserName =itchat.create_chatroom(memberList, 'test chatroom')
# 删除群聊内的用户
itchat.delete_member_from_chatroom(chatroomUserName, memberList[0])
# 增加用户进入群聊
itchat.add_member_into_chatroom(chatroomUserName, memberList[0], useInvitation=False)
内容来源于网络，如有侵权请联系客服删除