精华内容
下载资源
问答
  • 本文要点刚要:(一)读文本文件格式的数据函数:read_csv,read_table1....数据太大时需要逐块读取文本数据用chunksize进行分块。(二)将数据写成文本文件格式函数:to_csv范例如下:(一)读取文本文件格...

    本文要点刚要:

    (一)读文本文件格式的数据函数:read_csv,read_table

    1.读不同分隔符的文本文件,用参数sep

    2.读无字段名(表头)的文本文件 ,用参数names

    3.为文本文件制定索引,用index_col

    4.跳行读取文本文件,用skiprows

    5.数据太大时需要逐块读取文本数据用chunksize进行分块。

    (二)将数据写成文本文件格式函数:to_csv

    范例如下:

    (一)读取文本文件格式的数据集

    1.read_csv和read_table的区别:

    #read_csv默认读取用逗号分隔符的文件,不需要用sep来指定分隔符

    import pandas as pd

    pd.read_csv('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data.csv')

    1368336-20180426224121292-979964237.png

    #read_csv如果读的是用非逗号分隔符的文件,必须要用sep指定分割符,不然读出来的是原文件的样子,数据没被分割开

    import pandas as pd

    pd.read_csv('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data.txt')

    1368336-20180426224144868-1760190149.png

    #与上面的例子可以对比一下区别

    import pandas as pd

    pd.read_csv('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data.txt',sep='|')

    1368336-20180426224410679-520935790.png

    #read_table读取文件时必须要用sep来指定分隔符,否则读出来的数据是原始文件,没有分割开。

    import pandas as pd

    pd.read_table('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data.csv')

    1368336-20180426224501340-507311282.png

    #read_table读取数据必须指定分隔符

    import pandas as pd

    pd.read_table('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data.txt',sep='|')

    1368336-20180426224605645-1046616757.png

    2.读取文本文件时不用header和names指定表头时,默认第一行为表头

    #用header=None表示数据集没有表头,会默认用阿拉伯数字填充表头和索引

    pd.read_table('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data.txt',sep='|',header=None)

    1368336-20180426224759907-1866915755.png

    #用names可以自定义表头

    pd.read_table('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data.txt',sep='|',

    names=['x1','x2','x3','x4','x5'])

    1368336-20180426224858254-1016291189.png

    3.默认用阿拉伯数字指定索引;用index_col指定某一列作为索引

    names=['x1','x2','x3','x4','x0']

    pd.read_table('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data.txt',sep='|',

    names=names,index_col='x0')

    1368336-20180426225022347-270755606.png

    4.以下示例是用skiprows将hello对应的行跳过后读取其他行数据,不管首行是否作为表头,都是将表头作为第0行开始数

    可以对比一下三个例子的区别进行理解

    pd.read_csv('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data1.txt')

    1368336-20180426225126273-1981446421.png

    names=['x1','x2','x3','x4','x0']

    pd.read_csv('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data1.txt',names=names,

    skiprows=[0,3,6])

    1368336-20180426225208651-941727855.png

    pd.read_csv('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data1.txt',

    skiprows=[0,3,6])

    1368336-20180426225257812-1841733706.png

    pd.read_csv('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data1.txt',header=None,

    skiprows=[0,3,6])

    1368336-20180426225330405-1103613451.png

    5.分块读取,data1.txt中总共8行数据,按照每块3行来分,会读3次,第一次3行,第二次3行,第三次1行数据进行读取。

    注意这里在分块的时候跟跳行读取不同的是,表头没作为第一行进行分块读取,可通过一下两个例子对比进行理解。

    chunker = pd.read_csv('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data1.txt',chunksize=3)

    for m in chunker:

    print(len(m))

    print m

    1368336-20180426225501813-266640696.png

    chunker = pd.read_csv('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data1.txt',header=None,

    chunksize=3)

    for m in chunker:

    print(len(m))

    print m

    1368336-20180426225607037-1448990798.png

    (二)将数据写入文本格式用to_csv

    以data.txt为例,注意写出文件时,将索引也写入了

    data=pd.read_table('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data.txt',sep='|')

    print data

    1368336-20180426225716866-1303984639.png

    #可以用index=False禁止索引的写入。

    data=pd.read_table('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data.txt',sep='|')

    data.to_csv('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\outdata.txt',sep='!',index=False)

    1368336-20180426225814894-925833732.png

    #可以用columns指定写入的列

    data=pd.read_table('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\data.txt',sep='|')

    data.to_csv('C:\Users\xiaoxiaodexiao\pythonlianxi\test0424\outdata2.txt',sep=',',index=False,

    columns=['a','c','d'])

    1368336-20180426225838900-1320029810.png

    展开全文
  • python读取txt数据.zip

    2019-06-09 18:35:59
    采用python语言,实现txt文本格式点云数据读取,并进行三维可视化
  • 菜鸟笔记首先读取txt文件如下:AAAAF110 0003E818 0003E1FC 0003E770 0003FFFC 90AAAAF110 0003E824 0003E208 0003E76C 0003FFFC A5AAAAF110 0003E814 0003E204 0003E760 0003FFFC 85AAAAF110 0003E7F0 0003E208 ...

    菜鸟笔记

    首先读取的txt文件如下:

    AAAAF110 0003E818 0003E1FC 0003E770 0003FFFC 90

    AAAAF110 0003E824 0003E208 0003E76C 0003FFFC A5

    AAAAF110 0003E814 0003E204 0003E760 0003FFFC 85

    AAAAF110 0003E7F0 0003E208 0003E764 0003FFFC 68

    AAAAF110 0003E7CC 0003E1FC 0003E758 0003FFFC 2B

    现在要读取其每行的第3个数据,将其组成一个数组,代码如下:

    import codecs

    f = codecs.open('data.txt', mode='r', encoding='utf-8') # 打开txt文件,以"utf-8'编码读取

    line = f.readline() # 以行的形式进行读取文件

    list1 = []

    while line:

    a = line.split()

    b = a[2:3] # 这是选取需要读取的位数

    list1.append(b) # 将其添加在列表之中

    line = f.readline()

    f.close()

    for i in list1:

    print(i)

    输出结果为:

    ['0003E1FC']

    ['0003E208']

    ['0003E204']

    ['0003E208']

    ['0003E1FC']

    以上这篇python读取txt文件并取其某一列数据的示例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

    展开全文
  • 此代码使用Python和Matplotlib来实现绘制显示高低电平随时间变化的图像,通过将txt文件中每行数据交替分别显示为高低电平。
  • python读取txt数据写入excel

    千次阅读 2018-01-08 09:23:10
    在公司接到一个任务,从txt中抓取数据写入excel,txt格式固定,并且有多个txt文件 先安装excel的读写支持,参考:https://www.cnblogs.com/cllovewxq/p/5363636.html 就是下载xlrd和xlwt,进入该目录分别运行python ...

    在公司接到一个任务,从txt中抓取数据写入excel,txt格式固定,并且有多个txt文件

    先安装excel的读写支持,参考:https://www.cnblogs.com/cllovewxq/p/5363636.html

    就是下载xlrd和xlwt,进入该目录分别运行python setup.py install,这个程序只用到写入操作--xlwt

    思路:

        逐个打开txt文件,抓取指定位置,使用list列表存取数据,写入excel中.

    代码:

    # coding=utf-8
    import re
    from os.path import os
    from xlwt.Workbook import Workbook
    mypath = 'D:/alltxt/'
    myfiles = os.listdir(mypath)
    fileList = []
    excellist = []
    for f in myfiles:
            if(os.path.isfile(mypath + '/' + f)):
                if os.path.splitext(f)[1] == '.txt':
                    fileList.append(f)
                # 添加文件          
    for ff in fileList:
        f = open(mypath+ff,'r',encoding='utf-8')
    #f = open('D:/alltxt/test.txt', 'r',encoding='utf-8')
        sourceInLines = f.readlines()  
        f.close()
        for line in sourceInLines:
            lists = []
            temp1 = line.strip('\n')   
            temp2 = temp1.split('|')

            matchDE = re.match( '^DE', temp1)

            matchOP = re.match('^OP',temp1)
            matchWO = re.match('^WO',temp1)        
            if matchWO:
                wo = temp2[2]
                sdpn = temp2[3]
                descript = temp2[5]
                orderqty = temp2[6]
            if matchOP:      
                po = temp2[2]
                unit = temp2[9]       
            if matchDE:        
                if 'IC CPU' in temp1:
                    iccpu = temp2[1]
                    price = temp2[4]
                    compn = '/'      
                else:
                    iccpu = '/'
                    compn = temp2[1]
                    price = temp2[4]
                lists.append(sdpn)
                lists.append(descript)
                lists.append(wo)    
                lists.append(iccpu)
                lists.append(compn)
                lists.append(po)
                lists.append(orderqty)
                lists.append(unit+price+'')       
                excellist.append(lists) 
    book = Workbook()
    sheet1 = book.add_sheet('Sheet1')
    row0 = ['SD P/N','Description','WO#','IC CPU','Component','PO#','Order Qty','Unit price']
    for i in range(len(row0)):
        sheet1.write(0,i,row0[i])
    for i, li in enumerate(excellist):
        for j, lj in enumerate(li):      
            sheet1.write(i+1,j,lj)           
    book.save('d:/excel/result.xls')

    展开全文
  • 背景:用python尝试写爬某站的数据,获取后存进了txt文件里,格式是: uid__昵称__性别__粉丝数__签名;后来想着把这些数据插进mysql,方便数据处理。于是就有了以下处理。步骤:数据库手工建单表:id自增、主键,...

    背景:

    步骤:

    #encoding=utf-8
    import pymysql
    
    class Mysql(object):
        def __init__(self):
            self.__db_host = "192.168.1.8"
            self.__db_port = 3306
            self.__db_user = "ys"
            self.__db_psw  = ""
            self.__db_database = "my"
    
        def db_connection(self):
            self.__connection = pymysql.connect(
                                                host=self.__db_host,
                                                port=self.__db_port,
                                                user=self.__db_user,
                                                passwd=self.__db_psw,
                                                db=self.__db_database,
                                                charset='utf8'
                                                )
            # self.
            self.__connection.autocommit(True)
        def execute_no_query(self,command_text,parameters=None):
            effectRow = 0
            try:
                self.db_connection()
                cursor = self.__connection.cursor()
                effectRow = cursor.execute(command_text,parameters)
            except Exception as e:
                print(e)
            finally:
                cursor.close()
                return effectRow
    
        def db_close(self):
            if hasattr(self, 'conn') and self.__conn:
                self.__conn.close()
    1. 从本地txt文件逐行读取
    2. 拆分行,并插入到数据库
    # coding: utf-8
    import requests,sys,os,time,json
    from wb_db import Mysql
    
    file_path =os.path.join(sys.path[0],"test.txt")
    
    file=open(file_path,'r',encoding='utf-8')
    for line in file.readlines():
        uid="null"
        screen_name="null"
        gender="null"
        fans_no=0
        description="null"
        is_followed = "0"
        if line:
            list=[]
            list=line.encode('utf-8').decode('utf-8-sig').strip('\n').split("________")
            uid = list[0] if len(list[0])>0 else "null"
            screen_name = list[1] if len(list[1])>0 else "null"
            gender = list[2] if list[2] in ['f','m'] else 'n'
            fans_no = int(list[3]) if type(int(list[3])).__name__=='int' else 0
            description = list[4] if len(list[4])>0 else "null"
            sql = """
                insert into wbuser (uid,screen_name,gender,fans_no,description,is_followed) VALUES ('%s','%s','%s','%d','%s','%s')"""
    
            try:
                mysql = Mysql()
                mysql.execute_no_query(sql % (uid,screen_name,gender,fans_no,description,is_followed))
            except Exception as e:
                print(e)
            finally:
                mysql.db_close()
        else:
            break
    1. 写入txt为utf8,逐行读取后开头有 \ufeeff,字符编码问题,处理:读取时把行line.encode('utf-8').decode('utf-8-sig') 
    2. 写入txt时加了换行,读取后末尾有 \n,处理:line.encode('utf-8').decode('utf-8-sig').strip('\n')
    3. sql insert语句values后的占位符需要加引号。
    ---END---
    展开全文
  • python读取txt数据,转换到excel表中

    千次阅读 2016-12-30 10:31:53
    接收后台模拟数据,存放在txt文件中,需要转换到excel中 txt中的数据格式为:  recv message - 82815: {"export1": 0, "export0": 0, "export3": 1, "export2": 0, "export5": 0, "export4": 0, "clean1_5": 0, ...
  • 如何使用python读取txt文件中的数据

    万次阅读 多人点赞 2019-04-28 16:33:44
    python读取txt各个数字 python 读取文本文件内容转化为python的list python:如何将txt文件中的数值数据读入到list中,且在list中存在的格式为float类型或者其他数值类型 python .txt文件读取及数据处理总结 利用...
  • 主要介绍了Python读取txt文件数据的方法(用于接口自动化参数化数据),需要的朋友可以参考下
  • 在测试的时候,需要造模拟数据,或者是将生产环境的数据导出到测试环境中去,本文记录通过python读取txt文件,并将数据导入mysql数据库 1、示例代码: import pymysql # 打开数据库连接 conn = pymysql.connect(host...
  • 下面小编就为大家分享一篇python 读取txt中每行数据,并且保存到excel中的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • python读取、写入txt文本内容

    万次阅读 多人点赞 2019-08-22 21:54:28
    读取txt文本 python常用的读取文件函数有三种read()、readline()、readlines() 以读取上述txt为例,看一下三者的区别 read() 一次性读全部内容 一次性读取文本中全部的内容,以字符串的形式返回结果 with open...
  • 本文要点刚要:(一)读文本文件格式的数据函数:read_csv,read_table1....数据太大时需要逐块读取文本数据用chunksize进行分块。(二)将数据写成文本文件格式函数:to_csv范例如下:(一)读取文本文件格...
  • 今天小编就为大家分享一篇python读取txt文件并取其某一列数据的示例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • python读取txt中有规律的数据,并插入excel表格中
  • Python 读取TXT文本数据并存为 array

    万次阅读 多人点赞 2018-03-23 10:08:06
    方法一 str -> list -&...D:\data.txt") line = f.readline() data_list = [] while line: num = list(map(float,line.split())) data_list.append(num) line =...
  • 今天小编就为大家分享一篇Python读取txt某几列绘图的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • python读取txt文件中的数据

    千次阅读 2017-11-07 21:12:49
    def loadData(path): data=list() with open(path,'r') as fileReader: lines = fileReader.readlines() # 读取全部内容 for line in lines: line = line.strip() line
  • Python 读取txt、csv、mat数据并载入到数组

    万次阅读 多人点赞 2018-06-29 18:56:52
    一、txt文件数据载入到数组 这里结合上一篇博文的数据来讲怎么方便的载入.txt文件到一个数组,数据如下所示:1、自己写Python代码实现txt文本数据读取并载入成数组形式(PS:下面给了三种方法,选择理解)# -*- ...
  • f = open('d:\\b.txt') # 打开数据文件文件 lines = f.readlines() # 把全部数据文件读到一个列表lines中 A_row = 0 # 表示矩阵的行,从0行开始 for line in lines: # 把lines中的数据逐行读取出来 list = line....
  • python .txt文件读取数据处理总结

    万次阅读 多人点赞 2017-11-30 18:27:32
    1、处理包含数据的文件最近利用Python读取txt文件时遇到了一个小问题,就是在计算两个np.narray()类型的数组时,出现了以下错误: TypeError: ufunc 'subtract' did not contain a loop with signature matching ...
  • Python 读取txt文件数据逗号为分隔符

    万次阅读 2019-07-24 20:14:13
    fname = './data/loc.txt' with open(fname, 'r+', encoding='utf-8') as f: s = [i[:-1].split(',') for i in f.readlines()]
  • 使用Python读取串口数据

    千次阅读 2020-11-18 16:39:06
    Python读取串口数据使用Python读取串口数据1.面向百度编程2.应用serial库3.编码设计4.编程实现 使用Python读取串口数据 1.面向百度编程 通过百度,定位到可使用Python的serial库进行读写串口数据。接着,开始用pip...
  • 菜鸟笔记首先读取txt文件如下:AAAAF110 0003E818 0003E1FC 0003E770 0003FFFC 90AAAAF110 0003E824 0003E208 0003E76C 0003FFFC A5AAAAF110 0003E814 0003E204 0003E760 0003FFFC 85AAAAF110 0003E7F0 0003E208 ...
  • python读取txt某一列数据

    千次阅读 2020-11-01 12:43:43
    我们有以下数据 AAAAF110 0003E818 0003E1FC 0003E770 0003FFFC 90 AAAAF110 0003E824 0003E208 0003E76C 0003FFFC A5 AAAAF110 0003E814 0003E204 0003E760 0003FFFC 85 AAAAF110 0003E7F0 0003E208 0003E764 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 87,175
精华内容 34,870
关键字:

python读取txt数据

python 订阅