精华内容
下载资源
问答
  • python 函数 列表去重函数实现
    2022-01-08 13:15:04
    列表去重函数
    定义一个函数 def remove_element(a_list):
    将列表[10, 1, 2, 20, 10, 3, 2, 1, 15, 20, 44, 56, 3, 2, 1]
    去除重复元素(不能用集合去重,要使用for循环)。
    
    def remove_repeatitive_elements(a_list):
    ...
    函数调用:
    my_list = [10, 1, 2, 20, 10, 3, 2, 1, 15, 20, 44, 56, 3, 2, 1]
    remove_repeatitive_elements(my_list)

    注意点:1、函数内部应该放不会改变的内容,函数外要放会改变的内容

    2、使用列表append追加的方法

    #准备一个空列表 ,两个列表进行比较 如果列表对象在new_list里面就删除,不在就放进去

    my_list = [10, 1, 2, 20, 10, 3, 2, 1, 15, 20, 44, 56, 3, 2, 1]
    new_list = []    #定义一个新列表
    for item in my_list:           #item为my_list中的元素
        if item not in new_list:   #如果item不在new_list中,进行追加
            new_list.append(item)   #append 列表追加
    print(new_list)

    ###定义函数

    def remove_elements(a_list):
        pass
    
        new_list = []
        for item in a_list:
            if item not in new_list:
                new_list.append(item)   
        print(new_list)
    
    # my_list = [10, 1, 2, 20, 10, 3, 2, 1, 15, 20, 44, 56, 3, 2, 1]
    # remove_elements(my_list)#调用函数
    m2323_list = [11,4,5,22,2,22,44,4,11,55,5]
    remove_elements(m2323_list)
    更多相关内容
  • python去重函数是什么

    千次阅读 2021-02-04 03:11:59
    数据去重可以使用duplicated()和drop_duplicates()两个方法。DataFrame.duplicated(subset = None,keep =‘first’)返回boolean Series表示重复行参数:subset:列标签或标签序列,可选仅考虑用于标识重复项的某些...

    1fd9923ab943a83df3860e2aa3cd7028.png

    数据去重可以使用duplicated()和drop_duplicates()两个方法。

    DataFrame.duplicated(subset = None,keep =‘first’)返回boolean Series表示重复行

    参数:

    subset:列标签或标签序列,可选

    仅考虑用于标识重复项的某些列,默认情况下使用所有列

    keep:{‘first’,‘last’,False},默认’first’

    first:标记重复,True除了第一次出现。

    last:标记重复,True除了最后一次出现。

    错误:将所有重复项标记为True。

    相关推荐:《Python基础教程》import numpy as np

    import pandas as pd

    from pandas import Series, DataFrame

    df = pd.read_csv('./demo_duplicate.csv')

    print(df)

    print(df['Seqno'].unique()) # [0. 1.]

    # 使用duplicated 查看重复值

    # 参数 keep 可以标记重复值 {'first','last',False}

    print(df['Seqno'].duplicated())

    '''

    0 False

    1 True

    2 True

    3 True

    4 False

    Name: Seqno, dtype: bool

    '''

    # 删除 series 重复数据

    print(df['Seqno'].drop_duplicates())

    '''

    0 0.0

    4 1.0

    Name: Seqno, dtype: float64

    '''

    # 删除 dataframe 重复数据

    print(df.drop_duplicates(['Seqno'])) # 按照 Seqno 来去重

    '''

    Price Seqno Symbol time

    0 1623.0 0.0 APPL 1473411962

    4 1649.0 1.0 APPL 1473411963

    '''

    # drop_dujplicates() 第二个参数 keep 包含的值 有: first、last、False

    print(df.drop_duplicates(['Seqno'], keep='last')) # 保存最后一个

    '''

    Price Seqno Symbol time

    3 1623.0 0.0 APPL 1473411963

    4 1649.0 1.0 APPL 1473411963

    '''

    展开全文
  • 今天笔者想对pandas的行进行去重操作,找了好久,才找到相关的函数先看一个小例子from pandas import Series, DataFramedata = DataFrame({'k': [1, 1, 2, 2]})print dataIsDuplicated = data.duplicated()print ...

    今天笔者想对pandas中的行进行去重操作,找了好久,才找到相关的函数

    先看一个小例子

    from pandas import Series, DataFrame

    data = DataFrame({'k': [1, 1, 2, 2]})

    print data

    IsDuplicated = data.duplicated()

    print IsDuplicated

    print type(IsDuplicated)

    data = data.drop_duplicates()

    print data

    执行结果是:

    k

    0  1

    1  1

    2  2

    3  20    False

    1     True

    2    False

    3     Truek

    0  1

    2  2

    DataFrame的duplicated方法返回一个布尔型Series,表示各行是否重复行。

    而 drop_duplicates方法,它用于返回一个移除了重复行的DataFrame

    这两个方法会判断全部列,你也可以指定部分列进行重复项判段。

    drop_duplicates根据数据的不同情况及处理数据的不同需求,通常会分为两种情况,一种是去除完全重复的行数据,另一种是去除某几列重复的行数据,就这两种情况可用下面的代码进行处理。

    1. 去除完全重复的行数据

    data.drop_duplicates(inplace=True)

    2. 去除某几列重复的行数据

    data.drop_duplicates(subset=['A','B'],keep='first',inplace=True)

    subset: 列名,可选,默认为None

    keep: {‘first', ‘last', False}, 默认值 ‘first'

    first: 保留第一次出现的重复行,删除后面的重复行。

    last: 删除重复项,除了最后一次出现。

    False: 删除所有重复项。

    inplace:布尔值,默认为False,是否直接在原数据上删除重复项或删除重复项后返回副本。(inplace=True表示直接在原来的DataFrame上删除重复项,而默认值False表示生成一个副本。)

    例如,希望对名字为k2的列进行去重,

    data.drop_duplicates(['k2'])

    到此这篇关于python pandas dataframe 去重函数的具体使用的文章就介绍到这了,更多相关python pandas dataframe 去重函数内容请搜索自学编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持自学编程网!

    展开全文
  • Python字符串操作常用函数,包含了检索、统计、分割、替换、大小写转换、对齐,空格删除、字符串判断(头尾+组成)
  • 今天小编就为大家分享一篇对python中两种列表元素去重函数性能的比较方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 您可能感兴趣的文章:Python3删除排序数组重复项的方法分析Python实现删除排序数组重复项的两种方法示例python中对list去重的多种方法Python对列表去重的多种方法(四种方法)Python对字符串实现去重
  • Python去重操作及相关函数

    千次阅读 2020-03-02 16:17:19
    idx = np.unique(x, return_index=True)[1] # 第[1]列的数组正是return_index=True返回的内容:在c的位置/下标 print('二维数组去重:\n', c[idx]) #提取这些下标所在的元素 字符串去重python中join函数

    栗子1:利用 set

    L1 = (1, 1, 2, 2, 3, 3)
    print(set(L1))
    

    结果为: {1, 2, 3}

    知识点拓展:集合元素的访问

    集合元素可以通过转化为列表来进行访问,对于集合,存在交集、并集、差集等等很多操作。

    L1 = {1, 2, 5}
    L2 = list(L1)[1]
    print(L2)
    

    栗子2:利用 np.unique

    import numpy as np
    L1 = (1, 1, 2, 2, 3, 3)
    print(np.unique(L1))
    

    结果为: [1 2 3]


    栗子3:利用循环

    import numpy as np
    L1 = (1, 1, 2, 2, 3, 3)
    L2 = list(L1)
    L3 = []
    
    for i in L2:
        if i not in L3:
            L3.append(i)
    print(L3)
    

    结果为: [1, 2, 3]


    以下来自博客:Python 二维数组元素去重 np.unique()函数的使用

    import numpy as np
    
    # 4.2.1 一维数组去重
    a = np.array([1, 2, 3, 4, 5, 5, 7, 3, 2, 2, 8, 8])
    print('去重前:', a)  # 去重前: [1 2 3 4 5 5 7 3 2 2 8 8]
    b = np.unique(a)
    print('去重后:', b)  # 去重后: [1 2 3 4 5 7 8]
    
    # 4.2.2 二维数组去重
    c = np.array(((1, 2), (3, 4), (5, 6), (1, 3), (3, 4), (7, 6)))
    print('去重前:', c)
    # 方法一:利用set,set是无序不重复集合(推荐)
    s = set() #创建空集合
    for t in c:
        s.add(tuple(t)) #将数组转为元祖tuple,保证不被修改;再把元祖加入到集合中,完成去重
    g = np.array(list(s)) # 将集合转换为列表,最后转为二维数组
    print('去重后:', g)
    # 合起来写
    print('方法一去重后:', np.array(list(set(tuple(t) for t in c))))
    # 方法二:转换为虚数
    r, i = np.split(c, (1, ), axis=1)
    print(r)
    print(i)
    x = r + i * 1j
    # x = c[:, 0] + c[:, 1] * 1j
    print('转换成虚数:', x)  # 变成一维数组,可使用np.unique()
    print('虚数去重后:', np.unique(x))
    print(np.unique(x, return_index=True, return_counts=True))
    # return_index=True表示返回另一个参数,这个参数也是一个数组,
    # array([0, 3, 1, 2, 5]表示去重后的每个元素在去重前的数组中的位置/下标
    # return_counts=True表示返回各元素出现的频次
    idx = np.unique(x, return_index=True)[1]
    # 第[1]列的数组正是return_index=True返回的内容:在c中的位置/下标
    print('二维数组去重:\n', c[idx]) #提取这些下标所在的元素
    

    字符串去重: python中join函数

    展开全文
  • python中几种去重的方法

    千次阅读 2022-03-26 17:46:39
    1、集合去重 利用set()函数对一个元素集合去重 例如: a = [1,2,3,1,2,4,6] b = list(set(a)) print(b)
  • 今天小编就为大家分享一篇对python列表里的字典元素去重方法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 今天小编就为大家分享一篇Python 利用内置set函数对字符串和列表进行去重的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 列表去重是写Python脚本时常遇问题,因为不管源数据来自哪里,当我们转换成列表的方式时,有可能预期的结果不是我们最终的结果,最常见的就是列表元素有重复,这时候第一件事我们就要做去重处理。 我们先来个最...
  • 数据去重可以使用duplicated()和drop_duplicates()两个方法。DataFrame.duplicated(subset = None,keep =‘first’)返回boolean Series表示重复行参数:subset:列标签或标签序列,可选仅考虑用于标识重复项的某些...
  • python中列表去重

    千次阅读 2019-07-02 18:53:41
    备注: 前面的几种方法,有几种是不能保证其顺序的,比如用set()函数来处理! 如果要删除列表列表的重复项,则同样可以用下面的几种方法来处理 方法一: >> > data = [ 2 , 1 , 3 , ...
  • 问题就是对一个list的新闻id进行去重去重之后要保证顺序不变。 直观方法 最简单的思路就是: 复制代码 代码如下: ids = [1,2,3,3,4,2,3,4,5,6,1] news_ids = [] for id in ids:  if id not in news_ids:  news...
  • 最近在工作经常会碰到对字符串进行去重操作,下面就给大家列出用Python如何处理的,话不多说了,来一起看看详细的介绍吧。 比如说,要拿下面的字符传去掉重复的AA, A(B,C) S = 'AA, BB, EE, DD, AA, A(B,C), CC, A...
  • python列表常见的5种去重方法

    千次阅读 2021-12-26 11:04:10
    列表去重python面试和实际运用,十分常见,也是最基础的重点知识。 以下总结了5种常见的列表去重方法 一、使用for循环实现列表去重 此方法去重后,原顺序保持不变。 # for循环实现列表去重 list1 = ['a', 'b', 1...
  • python 列表去重

    2022-04-08 14:55:58
    python去重 通过内置的数据结构去重 使用set数据类型直接进行去重 当要去重的元素是dict或者[dict]就不是很理想 通过set去重字典 通过set去重[dict] 可以直接通过set去重列表、元组、字符串 a = (1, 2, 2, 1) ...
  • Python中有关列表、字符串、元组的去重方法
  • python 数组去重的方法

    千次阅读 2022-01-12 20:36:15
    python 数组去重的方法 def getNonRepeatList1(data): return list(set(data)) def getNonRepeatList2(data): new_data = [] for i in range(len(data)): if data[i] not in new_data: new_data.append(data...
  • https://pypi.org/project/xlrd/ xlrd是1.2的版本 https://pypi.org/project/xlwt/ 分别下载tar.gz 文件 解压后的文件夹,cmd python setup.py install
  • Python中list去重的方法

    2021-09-10 21:54:50
    1.for 循环去重 list1 = [3,2, 1, 3, 4, 7,1,5,2, 1,'测试1','测试2','测试1','测试3'] temp = [] for i in list1: if not i in temp: temp.append(i) print(temp) [3, 2, 1, 4, 7, 5, '测试1', '测试2', '测试3'...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 31,312
精华内容 12,524
关键字:

python中去重函数