精华内容
下载资源
问答
  • 今天小编就为大家分享一篇利用python在大量数据文件删除某一行的例子,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 在深度学习研究和工程应用中,我们经常需要制作数据集,对数据集进行清洗,排除脏数据,这时候就需要用到Python删除文件操作了。 我们必须导入 OS 模块,并运行其 os.remove() 函数。 我们直接举一个例子: # 假设...

    在深度学习研究和工程应用中,我们经常需要制作数据集,对数据集进行清洗,排除脏数据,这时候就需要用到Python的删除文件操作了。

    我们必须导入 OS 模块,并运行其 os.remove() 函数。

    我们直接举一个例子:

    # 假设removefile是一个set,我们将想要删除的数据路径存在里面
    for file in removefile:
        if os.path.exists(file): # 这一步判断这个数据是否真的存在本地。若是,则删除;若不是,则跳过。
            os.remove(file)
    
    展开全文
  • 一、标准库OS常用命令 需要先自建一个文件夹,并将当前目录修改为该文件夹。 import os os.getcwd() #查看当前路径 os.chdir("C:/Users/盛小胖yx/Desktop/Python") #...os.rmdir("my_study") #删除一个子文件夹,不...

    一、标准库OS常用命令

    需要先自建一个文件夹,并将当前目录修改为该文件夹。

    import os
    os.getcwd()   #查看当前路径
    os.chdir("C:/Users/盛小胖yx/Desktop/Python")    #修改当前路径
    os.mkdir("my_study")    #建立一个子文件夹,已存在时会报错
    os.rmdir("my_study")    #删除一个子文件夹,不存在时会报错
    os.listdir()   #列出当前目录或者指定目录下所有文件夹以及文件的名称,返回一个列表
    os.rename('a.txt','b.py')    #修改文件或文件夹的名称
    os.remove('a.py')      #删除一个文件
    

    在这里插入图片描述建立一个子文件夹并在该文件夹下再建立三个子文件夹,添加前缀在这里插入图片描述在这里插入图片描述

    二、文件的打开与关闭

    文件是一个存储在辅助存储器上的数据序列,可以包含任何 数据内容。概念上,文件是数据的集合和抽象,类似地,函 数是程序的集合和抽象。用文件形式组织和表达数据更有效 也更为灵活。文件包括两种类型:文本文件和二进制文件。

    二进制文件直接由比特0和比特1组成,没有统一字符 编码,文件内部数据的组织格式与文件用途有关。二进制 文件和文本文件最主要的区别在于是否有统一的字符编码 无论文件创建为文本文件或者二进制文件,都可以用 “文本文件方式”和“二进制文件方式”打开,打开后的 操作不同。

    1、文件的打开

    文件对象 = open(‘文件名’,‘使用方式’)

    类型 用法
    r 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
    w 打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
    a 打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。
    rb 以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。
    wb 以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
    ab 以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。
    r+ 打开一个文件用于读写。文件指针将会放在文件的开头。
    w+ 打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
    a+ 打开一个文件用于读写。如果该文件已存在,文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在,创建新文件用于读写。
    rb+ 以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。
    wb+ 以二进制格式打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
    ab+ 以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。如果该文件不存在,创建新文件用于读写。

    在这里插入图片描述f.read() #文件读取,读完一次后,指针位于文档最后,再次读取内容为空。标示符’r’表示读。
    在这里插入图片描述f.read() 会一次性读取文件的全部内容,若文件太大内存可能就不够用。

    • read()方法可以从指定文件中读取指定字节的数据,定义为:read(size)其中参数size用于指定从文件中读取的数据的字节数,若没有参数,则依次读出指定文件中的所有内容。
    • 调用readline()可以每次读取一行内容,调用readlines()一次读取所有内容并按行返回list。
      在这里插入图片描述

    2、文件的关闭

    f.close()
    

    程序执行完毕后,系统会关闭由该程序打开的文件,但更好的做法,是在文件使用完毕后,由程序调用close()方法关闭文件。因为当文件以缓冲方式打开时,磁盘文件与内存间的读写并不是即时的,若程序因异常关闭,可能导致缓冲区中的数据无法写入文件,造成数据丢失。所以在文件使用完毕后,建议用close()关闭文件。

    3、文件的读写

    Python中提供了一些文件读写的方法。
    (1)、write(s)
    文件对象.write(s) 其中s是待写入文件的字符串(文件对象需要时可写入的对象)
    在这里插入图片描述在这里插入图片描述
    (2)、tell()
    用户可以通过tell()方法获取文件当前的读写位置。
    在这里插入图片描述
    (3)、seek()
    seek()方法可以控制文件的读写位置,实现文件的随机读写。
    定义:f.seek(offset,form)
    offset表示偏移量,即读写位置需要移动的字节数,from用于指定文件的读写位置。

    • from = 0:表示文件开头
    • from = 1:表示使用当前位置
    • from = 2:表示文件末尾
      在这里插入图片描述

    三、文件编码

    • GBK编码:中文字符包含简体和繁体字符,每个字符仅能存储简体中文字符 汉字占二字节
    • UTF-8编码:全球通用的编码(默认使用)汉字占三字节

    文件打开时,可以指定用encoding参数指定编码例如:

    f = open('x.txt','wt',encoding = 'utf-8')    
    

    文件编码直接决定了文件的空间大小

    要读取非UTF-8编码的文本文件,需要给open()函数传入encoding参数,例如,读取GBK编码的文件:
    在这里插入图片描述

    遇到有些编码不规范的文件,你可能会遇到UnicodeDecodeError,因为在文本文件中可能夹杂了一些非法编码的字符。遇到这种情况,open()函数还接收一个errors参数,表示如果遇到编码错误后如何处理。最简单的方式是直接忽略。

    参考链接

    展开全文
  • python csv文件简单的删除行或者删除列主要有以下四种方法。 ''' 方法一和方法二用于一般的删除 方法三使用切片比较方便 方法四一般用于遍历删除对应某种属性值的行 ''' import pandas as pd data = pd.DataFrame([...

    python csv文件简单的删除行或者删除列主要有以下五种方法。

    '''
    方法一、二、三用于一般的删除
    方法四使用切片比较方便
    方法五一般用于遍历删除对应某种属性值的行
    '''
    import pandas as pd
    data = pd.DataFrame([[1,2,3],[4,5,6],[7,8,9]])
    print(data)
    
    #方法一
    data1 = data.drop([0,1])
    print('方法一、删除第 0 和 1 行后data1 = ')
    print(data1)
    
    #方法二
    data2 = data.drop(1,axis = 1)
    print('方法二、删除第 1 列后data2 = ')
    print(data2)
    
    #方法三
    #注意这里index是前闭后开
    data.drop(data.index[0:2], inplace=True)
    print('方法三、删除第 0至1 行后data3 = ')
    print(data)
    
    #方法四
    data4 = data.iloc[1:,:]
    print('方法四、从第 1 行开始切片后data4 = ')
    print(data4)
    
    #方法五
    print('方法五、将第 0 列中值为4的行删去后data5 = ')
    data5 = data[~data[0].isin([4])]
    print(data5)
    

    执行结果:

       0  1  2
    0  1  2  3
    1  4  5  6
    2  7  8  9
    方法一、删除第 01 行后data1 = 
       0  1  2
    2  7  8  9
    方法二、删除第 1 列后data2 = 
       0  2
    0  1  3
    1  4  6
    2  7  9
    方法三、删除第 01行后data3 = 
       0  1  2
    2  7  8  9
    方法四、从第 1 行开始切片后data4 = 
       0  1  2
    1  4  5  6
    2  7  8  9
    方法五、将第 0 列中值为4的行删去后data5 = 
       0  1  2
    0  1  2  3
    2  7  8  9
    

    我讲明白了吗?
    在这里插入图片描述

    展开全文
  • 通过这篇博客,我将讲解下如何通过python删除csv文件指定行或者某几行的数据 主要的思路如下: 先对csv文件进行遍历 得出所要删除的行 将这一行或者一批行合并为一个列表 利用pandas进行跳行读取 最后利用csv包进行...

    通过这篇博客,我将讲解下如何通过python删除csv文件指定行或者某几行的数据

    主要的思路如下:

    • 先对csv文件进行遍历
    • 得出所要删除的行
    • 将这一行或者一批行合并为一个列表
    • 利用pandas进行跳行读取
    • 最后利用csv包进行导出
    import pandas as pd
    import csv, os
    
    
    # Loop through every file in the needed directory.
    for csvFilename in os.listdir('E:/xxx/xxx'):
    	# 判断是不是csv文件
    	if not csvFilename.endswith('.csv'):
    		continue
    	# Now let's put needed line number to a list
    	# 本例子讲解的是删除第一行和最后30行
    	total_line = len(open('E:/xxx/xxx/' + csvFilename).readlines())
    	upper_row = total_line - 30
    	line_list = list(range(upper_row, total_line))
    	line_list = line_list + [1]
    	df = pd.read_csv('E:/xxx/xxx/' + csvFilename, skiprows=line_list)
    	# 设置新的文件名
    	new_file_name = 'new' + csvFilename
    	# And output
    	df.to_csv('E:/xxx/xxx/xxx/' + new_file_name, index=False)
    
    展开全文
  • python 文件数据的操作

    2020-01-27 14:22:55
    能执行的代码应当放到"_name _==’_main _’:"下(可能还被其他人调用)(一个python文件当作一个单独的程序运行时,总为True;文件当模块导入时,为False) if _name _=='_main _': msg="1:查询fetch,2:添加add,3:修改...
  • python修改大数据文件时,如果全加载到内存中,可能会导致内存溢出。因此可借用如下方法,将分件分段读取修改。with open('file.txt', 'r') as old_file: with open('file.txt', 'r+') as new_file: current_line...
  • 磁盘:存盘数据 都是以文件存在磁盘。 文件内容分读取(查找)和写入(添加,删除)。 文件夹:创建、删除、拷贝。 文件file 目录directory File close 关闭文件 File flush Open(filename,r)以只读方式...
  • python去除删除数据中\u0000\u0001等字符串 py文件为utf-8格式 #!/usr/bin/env python # -*- coding:utf-8 -*- a = "system\u0000" b = re.sub(u'\u0000', "", a) print(b) ## b="...
  • py文件为utf-8格式 #!/usr/bin/env python # -*- coding:utf-8 -*- a = "system\u0000" b = re.sub(u'\u0000', "", a) print(b) ## b="system" 补充知识:Python中,如何将反斜杠u类型(\uXXXX)的字符串,转换为...
  • 除非手动删除,否则数据会一直存在 2.文件操作 文件操作基本步骤:打开文件 -> 操作文件(读、写) -> 关闭文件 1)打开文件 语法: open(file, mode=‘r’, encoding=None) - 以指定的模式打开指定文件并且返回...
  • 用caffe自带的解析日志文件的工具,解析出来的包含Iters 、Seconds 、TestAccuracy 、TestLoss数据的文本文件格式不够整齐,在不该回车的地方出现了换行符,于是写了一个简单的脚本用于处理这样的文本文件。...
  • python txt文件操作数据

    2020-06-10 13:53:25
    爬虫读取过数据删除操作,删除首行数据: t = open('name_t.txt', 'r', encoding='utf-8') name = t.readline() if name: lines = t.readlines() with open("name_t.txt", "w", encoding="utf-8") as f_w: ...
  • python删除文件指定行

    万次阅读 2019-04-10 16:02:38
    我们现在有五行数据,我们想删除第三行:pig 删除文本指定行: 删除文本指定行用的是for i in i,找到指定行的关键字,将不包括关键字的其他行放在生成器中,将生成器包含的内容重新写入文件。 我们这里不用...
  • Python 读写文件数据

    2016-03-09 12:32:00
    1 需求 在文件 h264.txt 中的数据如图1,读入该文件中的数据,然后将第1列的地址删除,然后将数据输出到h264_out.txt中: 图1 h264.txt 数据截图 图2 输出文件 h264_out.txt 数据...
  • Python文件处理

    2020-12-24 13:27:21
    本文给大家介绍Python文件处理相关知识,具体内容如下所示: 1.文件的常见操作 文件是日常编程中常用的操作,通常用于存储数据或应用系统的参数。python提供了os、os.path、shutil等模块处理文件,其中包括最常用的...
  • # -- coding: utf-8 -- recipientAddrs="127.0.0.1" subject=u"主题" content=u"内容" dirpath=u"路径" ...#写入文件内容 with open("a.txt", "a")as f: f.writelines(recipientAddrs + "\n") f.writeline...
  • Python文件操作

    2019-10-06 20:05:54
    Python文件操作 数据的存储可以使用数据库,也可以使用文件, 数据库保持了数据的完整性和关联性,使数据更安全,可靠,使用文件存储则非常简单和易用 文件通常用于存储应用软件的参数或临时性数据 python提供...
  • 1.安装python 地址:python安装 2.安装PyMySQL 在dos下进入python的Scripts...3.编写py文件 我的内容如下: #!/usr/bin/env python3 # -*- coding: utf-8 -*- import pymysql db=pymysql.connect("rm-uf6i...
  • 使用numpy.delete(arrayname,index)删除确定位置处的数据 使用and和or而不是&&和|| 一个figure上画多条线不用hold on, 且线色自动变化 代码如下: import matplotlib.pyplot as plt im...
  • Python 文件

    2018-01-12 15:49:33
    Python操作文件的基本命令 f=open(文件名,访问模式) :打开一个文件,其中文件名是要打开的文件的名称,...w:只写的模式,该模式下文件可以不存在,如果不存在就创建文件,并且把文件里面的数据删除然后重新写数据 ; a
  • 于是我就在想,如果只打开一个文件,直接在原txt文件进行读写时是否可行呢?现实证明是不可行的,因为即使是对同一文件进行处理,先读后写,仍然需要先打开读取,然后打开再写。下面我用的这种方法,用到了line...
  • 要做csv文件数据的清洗。 其中有一列是字符串数据,想将这一列中分号(“;”)以后的数据全部删除。 请大家想想有什么办法</p>
  • 这个时候就需要删除partial.格式文件以及其目录文件。 由于TCGA-BRCA的数据很大,就先设置一个样例 在桌面新建一个test文件夹,文件夹中有a,b两个文件夹,a文件夹中有a.txt文件, 解决 import shutil import os #...
  • 解决python写入文件数据不全的问题

    千次阅读 2019-05-15 17:08:35
    如果利用语句 f = open('test.txt','a') 向txt文件中写入内容时,运行程序之后, 查看test.txt文件发现文件...且能对test.txt文件进行删除等其他操作, 不必担心是否文件被程序占用的问题。 另一个解决方案就...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,668
精华内容 667
关键字:

python文件删除数据

python 订阅