精华内容
下载资源
问答
  • 1,背景 遇到下载的txt文档太大(2G左右),没办法直接打开。所以希望能够把大的文件分解成几个小一点的...拆分之后的文件 test1.txt,test2.txt … filename = r'test.txt' #要拆分文件 outputF = r'test' #拆分之...

    1,背景
    遇到下载的txt文档太大(2G左右),没办法直接打开。所以希望能够把大的文件分解成几个小一点的文档

    2,说明
    使用python的输入输出(open,read,write)

    3,代码 :
    要拆分的文件 test.txt
    拆分之后的文件 test1.txt,test2.txt …

    filename = r'test.txt'   #要拆分的文件
    outputF = r'test'  #拆分之后的文件名(前部)
    outi = 1 #拆分之后的文件名下标
    with open(filename, 'r', encoding = 'UTF-8') as f:
        read_data = f.read(100000) #100KB  每次读取100KB大小内容
        while(read_data != ''):
            with open(outputF + str(outi) + '.txt', 'w', encoding = 'UTF-8') as f_o:
                 for j in range(0,1024): #100KB * 1024 =100mb      拆分后每个文件大小100MB
                    outbytes = f_o.write(read_data)
                    read_data = f.read(100000) #100KB
                    if(read_data == ""):
                        break
            outi = outi + 1
    
    展开全文
  • 使用python拆分Excel文件并输出到txt背景需求输入:输出: 背景需求 输入: 输入的EXCEL文件有六列,对应GPS轨迹的六个属性,每行对应一条轨迹,每个单元格里存的是以分号隔开的一条轨迹上该属性的全部值。 输出: ...

    使用python拆分Excel文件并输出到txt

    背景需求

    输入:

    输入的EXCEL文件有六列,对应GPS轨迹的六个属性,每行对应一条轨迹,每个单元格里存的是以分号隔开的一条轨迹上该属性的全部值。(有些单元格里内容太长,超出EXCEL最大限制,数据会变成“ERROR LENGTH”)

    输出:

    共n个txt文件,每个文件内容来自输入的EXCEL的一行,将每个GPS属性的内容按顺序组合成一个GPS信息作为一行。

    代码:

    
    import xlrd
    import time
    from operator import itemgetter
    import os
    
    file = '/Users/hxy/CLionProjects/tracks_from_SQL/test_temp.xlsx'
    rb = xlrd.open_workbook(filename=file)  # 打开文件
    sheet1 = rb.sheet_by_index(0)  # 通过索引获取表格
    print(sheet1.name)  # 表名
    # 读取表中的数据
    nrow = sheet1.nrows
    ncol = sheet1.ncols  # 找到行列总数
    print("行数:", nrow, "列数:", ncol)
    # titles = []
    # 从表格中选择并复制部分数据  写入到新的文件中
    rows = [sheet1.row_values(row, 0, ) for row in range(sheet1.nrows)]  # 按行读取表中的所有数据
    
    # titles = rows[0]  # 把标题行另存到一个list中
    del rows[0]  # 从数据中删掉标题行
    # print(titles)
    num = 0
    for r in rows:  # 遍历每一条订单轨迹(每行)
    	if r[0] == 'ERROR LENGTH' or r[1] == 'ERROR LENGTH' or r[2] == 'ERROR LENGTH' or r[3] == 'ERROR LENGTH' or r[4] == 'ERROR LENGTH' or r[5] == 'ERROR LENGTH':
    		continue
    	latitude = r[0].split(';')
        longitude = r[1].split(';')
        speed = r[2].split(';')
        direction = r[3].split(';')
        accuracy = r[4].split(';')
        time_stamp = r[5].split(';')
    	# print(time_stamp)
    	lens1 = len(latitude)
        lens2 = len(longitude)
        lens3 = len(speed)
        lens4 = len(direction)
        lens5 = len(accuracy)
        lens6 = len(time_stamp)
    	if lens1 + lens2 + lens3 - lens4 - lens5 - lens6 != 0:
    		print("ERROR LENGTH!!!", lens1, lens2, lens3, lens4, lens5, lens6)
    		break
    	file_name_num = "/Users/hxy/CLionProjects/temp/tracks_" + str(num)
        file_num = open(file_name_num + "unordered" + ".txt", 'w')
    
    	# 按行写入
    	for i in range(lens1):
            temp = int(time.mktime(time.strptime(time_stamp[i], "%Y-%m-%d %H:%M:%S")))
    		# 存入一条数据
    		file_num.writelines(str(latitude[i]) + ",")
            file_num.writelines(str(longitude[i]) + ",")
            file_num.writelines(str(speed[i]) + ",")
            file_num.writelines(str(direction[i]) + ",")
            file_num.writelines(str(accuracy[i]) + ",")
            file_num.writelines(str(temp) + "\n")
        file_num.close()
    
    	#重新排序
    
    	input_file = open(file_name_num + "unordered" + ".txt")
        output_file = open(file_name_num + ".txt", "w")
    
        table = []
    	for line in input_file:
            col = line.split(',')  # 每行分隔为列表,好处理列格式
    		table.append(col)  # 嵌套列表table[[8,8][*,*],...]
    		table_sorted = sorted(table, key=itemgetter(5))  # 按列索引5排序
    	for row in table_sorted:  # 遍历读取排序后的嵌套列表
    		row = [x for x in row]  # 转换为字符串格式,好写入文本
    		output_file.write(",".join(row))
    
        input_file.close()
        os.remove(file_name_num + "unordered" + ".txt")
        output_file.close()
        num = num + 1
    print("可用数据数目:", num)
    
    展开全文
  • 一、 #! usr/bin/python -- coding:utf-8 -- import os filepath=input(‘输入路径: ‘) ...with open(filepath,‘r’) as f: #打开txt文件 for line in f.readlines(): #将txt文件逐行读取 i=i...

    一、

    #! usr/bin/python

    -- coding:utf-8 --

    import os
    filepath=input(‘输入路径: ‘)
    i=0
    j=0
    with open(filepath,‘r’) as f: #打开txt文件
    for line in f.readlines(): #将txt文件逐行读取
    i=i+1 #遍历txt文件并计数
    if i%10000 != 0:
    k=str(j)
    path = ‘E:\’+k+’.txt’
    g = open(path,‘a’) #创建新的txt文件
    g.write(line+’\n’) #将每9999个数据写入新的txt文件, \n可去
    else:
    print(line) #当第10000个数据时,打印出来
    j+=1 #每10000个数据时,增加一位,用于创建txt文件

    二、

    #! usr/bin/python

    -- coding:utf-8 --

    import os
    import re
    filepath=input(‘输入路径: ‘)
    seq = re.compile(’\s+’)
    datalist = []
    with open(filepath,‘r’) as f:
    for line in f.readlines():
    list =seq.split(line.strip())
    datalist.append(list)
    s=int(len(datalist)/50)+1
    i=0
    for k in range(s):
    n=datalist[i:(i+50)]
    i += 50
    print(n)

    展开全文
  • 思路一#! usr/bin/python # -*- coding:utf-8 -*- import os filepath=input('输入路径: ') i=0 j=0 with open(filepath,'r') as f:  #打开txt文件 for line in f.readlines():  #将txt文件逐行读取...
    思路一
    #! usr/bin/python
    # -*- coding:utf-8 -*-
    import os
    filepath=input('输入路径: ')
    i=0
    j=0
    with open(filepath,'r') as f:			                #打开txt文件
    	for line in f.readlines():		                #将txt文件逐行读取	
    		i=i+1	            			        #遍历txt文件并计数
    		if i%10000 != 0:
    			k=str(j)					
    			path = 'E:\\'+k+'.txt'	
    			g = open(path,'a')			#创建新的txt文件
    			g.write(line+'\n')			#将每9999个数据写入新的txt文件
    		else:
    			print(line)				#当第10000个数据时,打印出来
    			j+=1					#每10000个数据时,增加一位,用于创建txt文件
    思路二
    #! usr/bin/python
    # -*- coding:utf-8 -*-
    import os
    import re
    filepath=input('输入路径: ')
    seq = re.compile('\s+')
    datalist = []
    with open(filepath,'r') as f:
    	for line in f.readlines():
    		list =seq.split(line.strip())
    		datalist.append(list)		
    s=int(len(datalist)/50)+1
    i=0
    for k in range(s):
    	n=datalist[i:(i+50)]
    	i += 50
    	print(n)
    # g=open(path,'a')
    # for x in dataurl
    #     x=str(x).strip(('[').strip(']').replace("'","").replace(' '.''))
    # g.write(x+'\n')
    # g.close()

    思路二最终应该是完成切片后,再将其重新格式化去除list写入新的txt文件中,但没想到方法解决每一个切片出来的list拿道dataurl这个问题




    展开全文
  • pythontxt文件拆分成多个小文件

    千次阅读 2020-04-17 16:27:44
    txt文件本身为由逗号区分开的连续字符串,字符串均为链接,因此一般特征也比较明显,文件如下: 首先想到方法是用with open read函数获取文件信息,通过’,‘来拆分各个url,按照url域名来得到小文件名,从而完成...
  • 现有一个28G的txt文件,里面每一行是一个分词过的专利全文文档,一共370多万行。我需要把它按每五万行为单位做成一个json文件,格式大致如下: [{"id":"100000001","quanwen":"你好 张梦"},...] 其中每个quanwen中...
  • python进行拆分文件

    万次阅读 热门讨论 2018-03-02 09:25:42
    python按指定行数把大文件进行拆分 如图大文件有7000多万行,大小为16G 需要拆分成多个200万行的小文件 代码如下: # -*- coding:utf-8 -*- from datetime import datetime def Main(): source_dir = '/jz_...
  • python按指定行数把大文件进行拆分 如图大文件有7000多万行,大小为16G 需要拆分成多个200万行的小文件 代码如下: # -*- coding:utf-8 -*- from datetime import datetime def Main(): source_dir = '/data/u_lx...
  • python大文本文件拆分

    2017-06-27 15:16:07
    输入文件路径,包括文件名。例如:'''D://test.txt''' 按行拆分,输入每个文件最大行数,拆分后的文件在相同路径下。
  • 2)在configure.txt文件中设置要切分的份数(如要切分4份,则设置part_num=4) 3)执行程序 4)切分后的文件保存在output_dir目录下 5)运行日志写在pp_log.txt中 P.S. 本程序可以批量切割多个pdf文件 from pyPdf ...
  • ipod虽然很酷,但它的电子书功能却弱到了家,只支持看不到4K的txt格式,于是我只好用python写了个工具,来拆分我的txt文件,源码如下: ########################### ## 为了避免截断中文字符
  • 引言 将一个txt文本文件中的内容行拆分固定的行数,自动分批写入到多个文本文件。 比如:一个源txt文件有5100行数据,每1000行插入到一个...3、运行python文件,查看生成的txt文件 代码 open_diff = open('data.txt',
  • 把下图按列按照 #计算元素x在列表lst中出现的次数 ...#读取整个原始txt文件 with open("C:\\Users\\admin\\Desktop\\623\\gang.txt", "r") as f: data = [line.rstrip('\n') for line in f] #print(data)
  • # -*- coding:utf-8 -*- # date: 2021-05-07 ... source_dir ='C://Users//lenovo//Desktop//tmp//0415.txt' target_dir ='C://Users//lenovo//Desktop//tmp//split//' # 计数器 flag = 0 # 文件
  • 朋友做深度学习训练,需要对文件夹下所有图片文件进行记录,并且每个子文件夹内的图片属于一类,单独设置标签,将文件名 标签输出成filename_label.txt,训练时要求乱序,并且文件名和标签分别输入,即将其乱序并...
  • python读取txt文件至列表当中 首先看txt文件中内容。 上代码: readlines() 方法用于读取所有行(直到结束符 EOF)并返回列表 每一行的内容为列表种的一个元素 我们通过循环将内容拆分即可 msg = msg.strip('\n') ...
  • 从HTML文件获取纯文本通过BeautifulSoup获取纯文本之前是通过BeautifulSoup (bs4)获取纯文本的,简单演示如下:from bs4 import BeautifulSouphtmfile = 'myweb.htm'html = open(htmfile, 'r', encoding='utf-8')...
  • 添加链接描述 import pandas as pd import asyncio from collections import defaultdict collect = defaultdict(list) ... path='/data/chaifen/testphone_%d.txt'%sas chunk.to_csv(path,index=False) retu
  • 5种Python逐行读取文件的方式

    千次阅读 2020-05-16 15:51:58
    假设我们在与python脚本相同的目录中有一个data.txt文件。让我们看看如何逐行阅读其内容。 小型文件的解决方案:使用readlines()获取文件中所有行的列表 第一个基本且效率低下的解决方案是使用 readlines() 函数...
  • 在做Oracle数据库导出到TXT文件,又从TXT文件...其实这可以通过sqlldr如下的的控制语句解决,但一开始不知道,因此自己写了个python脚本,根据理解对生成的去除了所有空白字符的TXT文件根据分隔符','来做字符分割...
  • # file_path = r'D:\python\text-summary\LDA主题分类\1.txt' # with open(file_path, "r", encoding='utf-8') as f: # 打开文件 # text = f.read() # 读取文件 text = '徐州 18 岁农家女孩宋爽,今年考入清华大学...
  • 今天有同事给了一堆mac地址,需要更改成一定格式,如mac='902B345FB021'改为mac='90-2B-34-5F-B0-21',写了一个小python脚本,...文件mac.txt中的mac地址一堆: 50E549E32ECB 902B3413EFA6 50E549ECBA1C 902B3457B1...

空空如也

空空如也

1 2 3 4 5 ... 7
收藏数 136
精华内容 54
关键字:

python拆分txt文件

python 订阅