2019-10-30 16:12:16 weixin_40105418 阅读数 58
  • Python-数据

    Python数据库编程视频教程,数据库是MySQL,讲解Python链接MySQL数据库,并对数据库进行增删改查操作。

    10902 人正在学习 去看看 尹成

python处理后缀为csv这种数据,例如股票数据,单独读取一列有两种办法

新建一个数组,将数据存在数组中,或者直接用os中的方法。举一反三,另外给出了读取一行和单个数据的方法

import numpy as np#python中没有提供数组,这里需要这个包来创建数组
import pandas as pd#处理csv数据必备的包
import os#python处理文件的包

FilesPath ='E:\文件路径'
FilesList = os.listdir(FilesPath)#文件比较多,所以我读取列表

path = os.path.join(FilesPath,FilesList[1]))#拼接文件路径
data = pd.DataFrame(pd.read_csv(path,header=None))#所有的数据读出,存到data中

#用os包中的方法
print(data.loc[:,0])

#用数组的方法
a=np.array(data)
print(a[:,0])

#读取单行数据
print(a[0,:])

#读取单个数据,只要行标和列表全写上就行
print(a[0,0])

 

2019-10-19 15:58:33 weixin_44978536 阅读数 90
  • Python-数据

    Python数据库编程视频教程,数据库是MySQL,讲解Python链接MySQL数据库,并对数据库进行增删改查操作。

    10902 人正在学习 去看看 尹成

python读取csv并画折线图

本文将说明如何用Python读取csv文件并且使用其数据画出折线图

1、导入库并规定格式

	import csv
	import matplotlib.pyplot as plt
	import matplotlib
	plt.rcParams['font.sans-serif'] = ['SimHei']
	plt.rcParams['font.family']='sans-serif'
	plt.rcParams['axes.unicode_minus'] = False	

2、读取csv文件

data = pd.read_csv('文件名.csv')

3、读取指定列

xdata = []
ydata = []
xdata = data.ix[:,'列名1']   #将csv中列名为“列名1”的列存入xdata数组中
ydata = data.ix[:,'列名2']   #将csv中列名为“列名2”的列存入ydata数组中

4、设置格式

plt.plot(xdata,ydata,'bo-',label=u'',linewidth=1)
plt.title(u"表名",size=10)   #设置表名为“表名”
plt.legend()
plt.xlabel(u'x轴名',size=10)   #设置x轴名为“x轴名”
plt.ylabel(u'y轴名',size=10)   #设置y轴名为“y轴名”

5、输出图表

plt.show()
2019-08-07 15:43:56 weixin_39082390 阅读数 260
  • Python-数据

    Python数据库编程视频教程,数据库是MySQL,讲解Python链接MySQL数据库,并对数据库进行增删改查操作。

    10902 人正在学习 去看看 尹成

在处理数据的时候,经常会碰到CSV类型的文件,下面将介绍如何读取当前目录下的CSV文件,步骤如下:

1、获取当前目录所有的CSV文件名称:

#创建一个空列表,存储当前目录下的CSV文件全称
file_name = []

#获取当前目录下的CSV文件名
def name():
    #将当前目录下的所有文件名称读取进来
    a = os.listdir()
    for j in a:
        #判断是否为CSV文件,如果是则存储到列表中
        if os.path.splitext(j)[1] == '.csv':
            file_name.append(j)

2、将CSV文件读取进来:

#将CSV文件内容导入到csv_storage列表中
def csv_new(storage,name):
    #创建一个空列表,用于存储CSV文件数据
    csv_storage = []
    with codecs.open(storage, 'r', encoding='utf-8') as fp:
        fp_key = csv.reader(fp)
        for csv_key in fp_key:
            csv_reader = csv.DictReader(fp, fieldnames=csv_key)
            for row in csv_reader:
                csv_dict = dict(row)
                csv_storage.append(csv_dict)

3、连续读取多个CSV文件:

设置一个for循环,将第一部分读取到的文件名称逐个传递给读取文件的函数,全部代码如下所示:

import codecs
import csv
import os

#创建一个空列表,存储当前目录下的CSV文件全称
file_name = []

#获取当前目录下的CSV文件名
def name():
    #将当前目录下的所有文件名称读取进来
    a = os.listdir()
    for j in a:
        #判断是否为CSV文件,如果是则存储到列表中
        if os.path.splitext(j)[1] == '.csv':
            file_name.append(j)


#将CSV文件内容导入到csv_storage列表中
def csv_new(storage):
    #创建一个空列表,用于存储CSV文件数据
    csv_storage = []
    with codecs.open(storage, 'r', encoding='utf-8') as fp:
        fp_key = csv.reader(fp)
        for csv_key in fp_key:
            csv_reader = csv.DictReader(fp, fieldnames=csv_key)
            for row in csv_reader:
                csv_dict = dict(row)
                csv_storage.append(csv_dict)
    for i in csv_storage:
        print(i)

#主要运行函数
if __name__ == '__main__':
    #运行获取当前目录下所有的CSV文件
    name()
    #将多个CSV文件逐个读取
    for name in file_name:
        csv_new(name)
    print(file_name)

4、最终的结果输出:

 

2017-07-11 17:44:17 henni_719 阅读数 3023
  • Python-数据

    Python数据库编程视频教程,数据库是MySQL,讲解Python链接MySQL数据库,并对数据库进行增删改查操作。

    10902 人正在学习 去看看 尹成
#coding=utf8
import csv 
import logging

logging.basicConfig(level=logging.DEBUG,
                format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
                datefmt='%a, %d %b %Y %H:%M:%S',
                filename='readDate.log',
                filemode='w')

'''
该模块的主要功能,是根据已有的csv文件,
通过readDataToDicl函数,把csv中对应的部分,
写入字典中,每个字典当当作一条json数据
'''
class GenExceptData(object):
    def __init__(self):
        try:
            #存放csv中读取的数据
            self.mdbuffer=[]
            #打开csv文件,设置读的权限
            csvHand=open("20170510174450.csv","r")
            #创建读取csv文件句柄
            readcsv=csv.reader(csvHand)
            #把csv的数据读取到mdbuffer中
            for row in readcsv:
                    self.mdbuffer.append(row)  
            #把数据穿件为为字典类型的
            #self.readDataToList()
            #保存文件
        except Exception,e:
            logging.error("Read Excel  error:"+e) 
        finally:
            #关闭csv文件
            csvHand.close()
  
    def readDataToList(self):
        try:
            #获取mdbuffer中的元素个数
            rowNumber=len(self.mdbuffer)
            #设置当前行号
            currentrow=1
            #设置json数据的属性值
            propertyJson={}
            #propertyJsonList=[]
            #count=0
            #读取列表中的元素   
            dataList=[]  
            try: 
                for row in range(1,rowNumber):
                    #创建一个临时变量用来存取一次循环的属性键值
                    temp={}
                   
                    #获取列表中一个元素
                    item=self.mdbuffer[row]
                    #获取当前元素,当前元素代表的是每个
                    #事件起始的位置
                    currentItem=self.mdbuffer[currentrow]
                    #获取serviceId并进行解码
                    serviceId= currentItem[2].decode("gbk")
                    #获取属性并进行解码,把解码的值存入propertyName
                    propertyName=item[3].decode("gbk")
                    #获取属性值并进行解码,把解码的值存入propertyValue
                    propertyValue=item[4].decode("gbk")
                    try:
                        #判断埋点事件与serviceId是否相等
                        if item[0]==currentItem[0] and item[2]==currentItem[2]:
                            #把serviceId方式字典propertyJson中
                            propertyJson["serviceId"]=serviceId 
                            #把属性/值对放入temp字典中                                                 
                            temp[propertyName]=propertyValue
                            #调用字典的update函数,把temp中的键值对
                            #添加到 propertyJson字典中
                            propertyJson.update(temp)
                            #使用continue,如果为if条件为true则循环执行if语句模块
                            continue  
                        else:
                            #把行号设置为当前行
                            currentrow=row  
                            #把当前的属性解码放入propertyName                    
                            propertyName=currentItem[3].decode("gbk")
                            #把当前的属性值解码放入propertyName
                            propertyValue=currentItem[4].decode("gbk")
                            #把serviceId方式字典propertyJson中 
                            propertyJson["serviceId"]=serviceId    
                            #把属性/值对放入propertyJson字典中  
                            propertyJson[propertyName]=propertyValue
                            #propertyJsonList.append(propertyJson) 
                            dataList.append(propertyJson)
                            '''
                            在这说下:
                            propertyJson.clear()与propertyJson={}的区别:
                            propertyJson.clear()是删除字典的值,不创建引用,会改变字典本身的值;
                            propertyJson={}是创建新的引用,字典的中的值不发现变化;
                            如果想让 self.dataDic.append(propertyJson)该语句执行成功,而且添加每次循环的值,
                            需要使用propertyJson={}方法;
                            如果使用propertyJson.clear(),只会把最后一次propertyJson存储的值,添加到self.dataDic中
                            '''
                            propertyJson={}
                    except Exception,e:
                        logging.error("Get Property Json Error:"+e) 
                        print "Get Property Json Error:",e
            except Exception,e:
                logging.error("Get Date Error:"+e) 
                print "Get Date Error:",e

            return  dataList     
        except Exception,e:
            logging.error("Reading Data TO Dic Error:"+e) 
            print "Reading Data TO Dic Error:",e
        
    def getAllServiceId(self):
        try:
            dataList=self.readDataToList()
            serList=[item["serviceId"] for item in dataList if item["serviceId"] ] 
            serList=list(set(serList))
            return serList
        except Exception,e:
            logging.error("Create ServiceId List Error:"+e)
            print "Create ServiceId List Error:"+e
                                        
    def oupPutData(self):
        try:
            dataList=self.readDataToList()
            for item in dataList:          
                    print "{"   
                    for key,val in item.items(): 
                        print key,":",val
                    print "}"
                    print "#"*50
        except Exception,e:
            logging.error("OutPut Data Error:"+e)
            print "OutPut Data  Error:"+e
    
      
    def createDataDic(self):
        try:
            dataDic={}
           
            dataList=self.readDataToList()
            count=0
            for item in dataList:
                if item["serviceId"]==u"pageview":
                    count+=1
            print count
                    
            serviceIdList=self.getAllServiceId()
            if len(serviceIdList)>0 and len(dataList)>0:
                for serviceId in serviceIdList:
                    sameServiceidJosnList=[]
                    for item in dataList:                    
                        itemServiceId=item["serviceId"]
                        if itemServiceId:
                            if serviceId==itemServiceId: 
                                sameServiceidJosnList.append(item)                                                              
                        else:
                            print "ServiceId is null"
                    dataDic[serviceId]=sameServiceidJosnList 
                    
            else:
                print "seriviceIdList  or dataList is null"
            return dataDic
            '''  
            for key,val in dataDic.items():
                print key,len(val)
                print "*"*50
                for item in val:
                    print "{"
                    for ke,va in item.items():
                        print ke,":",va
                    print "}"
                print "-"*50
            '''
        except Exception,e:
            print "Create Data Dictionary Error:",e  
        
def test():
    gen =GenExceptData()
    gen.oupPutData()
    
if __name__=="__main__":
    test()

2019-09-24 17:42:56 qq_41204464 阅读数 113
  • Python-数据

    Python数据库编程视频教程,数据库是MySQL,讲解Python链接MySQL数据库,并对数据库进行增删改查操作。

    10902 人正在学习 去看看 尹成

方法一 Numpy.genfromtxt

简介

  数据文件的一种非常常见的文件格式是逗号分隔值(CSV)或相关格式,例如TSV(制表符分隔值)。 要将数据从此类文件读取到Numpy数组中,我们可以使用numpy.genfromtxt函数。

 

例子1:

>>> import numpy as np
>>> data = np.genfromtxt('data.csv',delimiter=',') #delimiter: 用于分隔的str
>>> data[0:3,]
array([[32.50234527, 31.70700585],
       [53.42680403, 68.77759598],
       [61.53035803, 62.5623823 ]])

 

例子2:

为了得到我们需要的有用数据,我们有两个硬的要求: (1) 跳过表头信息;(2) 区分横纵坐标

import numpy as np
data = np.genfromtxt('waveform.txt',delimiter=',',skip_header=18)

**delimiter: the str used to separate data. 横纵坐标以 ',' 分割,因此给 delimiter 传入 ','。

. 有用数据是从19行开始的,因此给 skip_header 传入 18。

print data[0:3,0], data[0:3,1]

因为读入的是二维数据,因此利用 numpy 二维数据的切片方式 (Index slicing) 输出各自的前三个数据验证是否读取正确:

[  2.40000000e-08   2.40001230e-08   2.40002470e-08]
[ 0.014349  0.016005  0.015455]

对数据进行归一化处理后,调用 Matplotlib 画图命令,就可得到图像如下:

import matplotlib.pyplot as plt
fig, axes = plt.subplots(figsize=(8,6))
axes.plot(x, y, 'r', linewidth=3)
axes.set_xlabel('Time(ps)')
axes.set_ylabel('Amplitude[a.u.]')
fig.savefig("triangular.png", dpi=600)

 

                                                                              三角波

 

例子3:

__author__ = 'tum'
import numpy as np
 
 
#一个最简单的例子
f = open('test.csv', 'w')
f.write("1,1.2,1.3\n2,2.2,2.3")
f.close()
a = np.genfromtxt('test.csv', dtype=[('myint','i8'),('myfloat','f8'), ('mystring','U5')], delimiter=",", comments='#')
print (a)
 
#字段中有中文,成功!
def conv_str_chs(x):
    # print(x)
    return x.decode('gb2312')
 
f = open('test.csv', 'w')
f.write("1,1.2,今123天\n2,2.2,789天")
f.close()
a = np.genfromtxt('test.csv', dtype=[('myint','i8'),('myfloat','f8'), ('mystring','U5')], delimiter=",", comments='#',
                  converters={2:conv_str_chs})
print (a)
 
#空缺部分字段, 使用默认填充。文档中描述:
# Expected type Default
# bool False
# int -1
# float np.nan
# complex np.nan+0j
# string '???'
 
f = open('test.csv', 'w')
f.write(",,")
f.close()
a = np.genfromtxt('test.csv', dtype=[('myint','i8'),('myfloat','f8'), ('mystring','U5')], delimiter=",", comments='#',
                  filling_values={0:9, 1:9.9, 2:'abc'})
print (a)
 
 
 
 

 

运行结果输出:

[(1, 1.2, '1.3') (2, 2.2, '2.3')]
[(1, 1.2, '今123天') (2, 2.2, '789天')]
(9, 9.9, '')

 

方法二 csv.reader

1.基本的读取文件的方式

import csv
csv_reader=csv.reader(open('taxi.csv',encoding='utf-8'))
for row in csv_reader:
    print(row)
#taxi.csv最好放在同一目录下

 

2.读取文件中的某一列以及多列‘

import csv
with open('taxi1.csv',encoding='utf-8') as csvfile:
    reader=csv.reader(csvfile)
    column=[row[2] for row in reader]
    print(column)


####方法2
data_x= pd.read_csv(filepath_or_buffer = 'taxi1.csv', sep = ',')["lo"].values
data_y= pd.read_csv(filepath_or_buffer = 'taxi1.csv', sep = ',')["la"].values

 

3.读取文件的某一行

import csv
with open('taxi1.csv',encoding='utf-8') as csvfile:
    reader=csv.reader(csvfile)
    for i,rows in enumerate(reader):
        if i==0:
            row=rows
    print(row)
###
['id', 'dest_no', 'lo', 'la', 'gps_time', 'status', 'speed', 'vehicle_type', 'taxi_no_color', 'dir', 'create_time']

 

4.读取文件的行数

import csv
a=open("taxi1.csv","r")
b=len(a.readline())
print(b)

 

希望对你有帮助

 

没有更多推荐了,返回首页