1:什么是pandas

定义：Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

作用：numpy能够帮助我们处理数值，但是pandas除了处理数值之外（基于bumpy），还能够帮助我们处理其他类型数据。

2:pandas的常用数据类型

Series 一维，带标签数组              
	
DataFrame 二维，Series容器
 

pd.Series([1,2,3,4], index=list('asdf'))

temp_dict = {'name': 'xiaohong', 'age': 18, 'tel':10086}
temp = pd.Series(temp_dict)
print(temp)

3:Series的切片和索引

Series对象本质上由两个数组构成，一个数组构成对象的键（index，索引），一个数组构成对象的值（values）， 键->值

ndarray的很多方法都可以运用于series类型，例如：argmax， clip，series也有where方法，但是结果跟ndarray不同。

t1 = pd.Series([1,2,3,4], index=list('asdf'))
#
temp_dict = temp_dict = {'name': 'xiaohong', 'age': 18, 'tel':10086}
t2 = pd.Series(temp_dict)
print(t2)

print(t1[1])
print(t1[0:])
print(t1[[1, 3]])
print(t2['age'])
print(t2[['age', 'tel']])
print(t2[[1, 2]])

# 当按照键取值没有的话会是NAN

print(t1.index)   # index类型可迭代  Index(['a', 's', 'd', 'f'], dtype='object') list(t1.index)
print(type(t1.index), len(t1.index))  # <class 'pandas.core.indexes.base.Index'> 4

print(t1.values)  # [1 2 3 4] object类型
print(type(t1.values))  # <class 'numpy.ndarray'>

 

 

 

Pandas最好用的函数
Pandas是Python语言中非常好用的一种数据结构包，包含了许多有用的数据操作方法。而且很多算法相关的库函数的输入数据结构都要求是pandas数据，或者有该数据的接口。
仔细看pandas的API说明文档，就会发现有好多有用的函数，比如非常常用的文件的读写函数就包括如下函数：








Format Type
Data Description
Reader
Writer



text
CSV
read_csv
to_csv

text
JSON
read_json
to_json

text
HTML
read_html
to_html

text
Local clipboard
read_clipboard
to_clipboard

binary
MS Excel
read_excel
to_excel

binary
HDF5 Format
read_hdf
to_hdf

binary
Feather Format
read_feather
to_feather

binary
Parquet Format
read_parquet
to_parquet

binary
Msgpack
read_msgpack
to_msgpack

binary
Stata
read_stata
to_stata

binary
SAS
read_sas
 

binary
Python Pickle Format
read_pickle
to_pickle

SQL
SQL
read_sql
to_sql

SQL
Google Big Query
read_gbq
to_gbq



读取数据后，对于数据处理来说，有好多有用的相关操作的函数，但是我认为其中最好用的函数是下面这个函数：
apply函数

apply函数是`pandas`里面所有函数中自由度最高的函数。该函数如下：
DataFrame.apply(func, axis=0, broadcast=False, raw=False, reduce=None, args=(), **kwds)
该函数最有用的是第一个参数，这个参数是函数，相当于C/C++的函数指针。
这个函数需要自己实现，函数的传入参数根据axis来定，比如axis = 1，就会把一行数据作为Series的数据结构传入给自己实现的函数中，我们在函数中实现对Series不同属性之间的计算，返回一个结果，则apply函数会自动遍历每一行DataFrame的数据，最后将所有结果组合成一个Series数据结构并返回。
比如读取一个表格：



假如我们想要得到表格中的PublishedTime和ReceivedTime属性之间的时间差数据，就可以使用下面的函数来实现：
import pandas as pd
import datetime   #用来计算日期差的包

def dataInterval(data1,data2):
    d1 = datetime.datetime.strptime(data1, '%Y-%m-%d')
    d2 = datetime.datetime.strptime(data2, '%Y-%m-%d')
    delta = d1 - d2
    return delta.days

def getInterval(arrLike):  #用来计算日期间隔天数的调用的函数
    PublishedTime = arrLike['PublishedTime']
    ReceivedTime = arrLike['ReceivedTime']
#    print(PublishedTime.strip(),ReceivedTime.strip())
    days = dataInterval(PublishedTime.strip(),ReceivedTime.strip())  #注意去掉两端空白
    return days

if __name__ == '__main__':    
    fileName = "NS_new.xls";
    df = pd.read_excel(fileName) 
    df['TimeInterval'] = df.apply(getInterval , axis = 1)

有时候，我们想给自己实现的函数传递参数，就可以用的apply函数的*args和**kwds参数，比如同样的时间差函数，我希望自己传递时间差的标签，这样没次标签更改就不用修改自己实现的函数了，实现代码如下：
import pandas as pd
import datetime   #用来计算日期差的包

def dataInterval(data1,data2):
    d1 = datetime.datetime.strptime(data1, '%Y-%m-%d')
    d2 = datetime.datetime.strptime(data2, '%Y-%m-%d')
    delta = d1 - d2
    return delta.days

def getInterval_new(arrLike,before,after):  #用来计算日期间隔天数的调用的函数
    before = arrLike[before]
    after = arrLike[after]
#    print(PublishedTime.strip(),ReceivedTime.strip())
    days = dataInterval(after.strip(),before.strip())  #注意去掉两端空白
    return days


if __name__ == '__main__':    
    fileName = "NS_new.xls";
    df = pd.read_excel(fileName) 
    df['TimeInterval'] = df.apply(getInterval_new , 
      axis = 1, args = ('ReceivedTime','PublishedTime'))    #调用方式一
    #下面的调用方式等价于上面的调用方式
    df['TimeInterval'] = df.apply(getInterval_new , 
      axis = 1, **{'before':'ReceivedTime','after':'PublishedTime'})  #调用方式二
    #下面的调用方式等价于上面的调用方式
    df['TimeInterval'] = df.apply(getInterval_new , 
      axis = 1, before='ReceivedTime',after='PublishedTime')  #调用方式三

修改后的getInterval_new函数多了两个参数，这样我们在使用apply函数的时候要自己传递参数，代码中显示的三种传递方式都行。
最后，本篇的全部代码在下面这个网页可以下载：
https://github.com/Dongzhixiao/Python_Exercise/tree/master/pandas_apply

首先使用np.array()函数把DataFrame转化为np.ndarray()，再利用tolist()函数把np.ndarray()转为list，示例代码如下：
# -*- coding:utf-8-*-
import numpy as np
import pandas as pd

data_x = pd.read_csv("E:/Tianchi/result/features.csv",usecols=[2,3,4])#pd.dataframe
data_y =  pd.read_csv("E:/Tianchi/result/features.csv",usecols=[5])

train_data = np.array(data_x)#np.ndarray()
train_x_list=train_data.tolist()#list
print(train_x_list)
print(type(train_x_list))

loc函数：通过行索引 "Index" 中的具体值来取行数据（如取"Index"为"A"的行）

iloc函数：通过行号来取行数据（如取第二行的数据）

本文给出loc、iloc常见的五种用法，并附上详细代码。

1. 利用loc、iloc提取行数据

import numpy as np
import pandas as pd
#创建一个Dataframe
data=pd.DataFrame(np.arange(16).reshape(4,4),index=list('abcd'),columns=list('ABCD'))

In[1]: data
Out[1]: 
    A   B   C   D
a   0   1   2   3
b   4   5   6   7
c   8   9  10  11
d  12  13  14  15

#取索引为'a'的行
In[2]: data.loc['a']
Out[2]:
A    0
B    1
C    2
D    3

#取第一行数据，索引为'a'的行就是第一行，所以结果相同
In[3]: data.iloc[0]
Out[3]:
A    0
B    1
C    2
D    3

2. 利用loc、iloc提取列数据

In[4]:data.loc[:,['A']] #取'A'列所有行，多取几列格式为 data.loc[:,['A','B']]
Out[4]: 
    A
a   0
b   4
c   8
d  12

In[5]:data.iloc[:,[0]] #取第0列所有行，多取几列格式为 data.iloc[:,[0,1]]
Out[5]: 
    A
a   0
b   4
c   8
d  12



3.利用loc、iloc提取指定行、指定列数据

In[6]:data.loc[['a','b'],['A','B']] #提取index为'a','b',列名为'A','B'中的数据
Out[6]: 
   A  B
a  0  1
b  4  5

In[7]:data.iloc[[0,1],[0,1]] #提取第0、1行，第0、1列中的数据
Out[7]: 
   A  B
a  0  1
b  4  5

 

4.利用loc、iloc提取所有数据

In[8]:data.loc[:,:] #取A,B,C,D列的所有行
Out[8]: 
    A   B   C   D
a   0   1   2   3
b   4   5   6   7
c   8   9  10  11
d  12  13  14  15

In[9]:data.iloc[:,:] #取第0,1,2,3列的所有行
Out[9]: 
    A   B   C   D
a   0   1   2   3
b   4   5   6   7
c   8   9  10  11
d  12  13  14  15

5.利用loc函数，根据某个数据来提取数据所在的行

In[10]: data.loc[data['A']==0] #提取data数据(筛选条件: A列中数字为0所在的行数据)
Out[10]: 
   A  B  C  D
a  0  1  2  3

In[11]: data.loc[(data['A']==0)&(data['B']==2)] #提取data数据(多个筛选条件)
Out[11]: 
   A  B  C  D
a  0  1  2  3

同时，以下几种写法也可提取数据所在的行，与第五种用法类似，仅作补充。

In[12]: data[data['A']==0] #dataframe用法
In[13]: data[data['A'].isin([0])] #isin函数
In[14]: data[(data['A']==0)&(data['B']==2)] #dataframe用法
In[15]: data[(data['A'].isin([0]))&(data['B'].isin([2]))] #isin函数

Out[15]: 
   A  B  C  D
a  0  1  2  3

利用loc函数的时候，当index相同时，会将相同的Index全部提取出来，优点是：如果index是人名，数据框为所有人的数据，那么我可以将某个人的多条数据提取出来分析；缺点是：如果index不具有特定意义，而且重复，那么提取的数据需要进一步处理,可用.reset_index()函数重置index

同样：at与iat函数可抽取指定行列的值，详情见博文（DataFrame中at、iat函数详解）

最后：本博文中loc与iloc函数可提取指定行列数据，删除Dateframe指定行列数据可参考博主下列博文（点击跳转）：

Drop函数与isin函数（DataFrame删除指定行列）
	
DataFrame提取（删除）指定行列（isin函数、drop函数）（高级用法详解，示例源码）