python中列表去重

怎么快速的对列表进行去重呢，去重之后原来的顺序会不会改变呢？
去重之后顺序会改变

set去重

#列表去重改变原列表的顺序了
l1 = [1,4,4,2,3,4,5,6,1]
l2 = list(set(l1))
print(l2)    # [1, 2, 3, 4, 5, 6]

但是，可以通过列表中索引（index）的方法保证去重后的顺序不变。

l1 = [1,4,4,2,3,4,5,6,1]
l2 = list(set(l1))
l2.sort(key=l1.index)
print(l2)      # [1, 4, 2, 3, 5, 6]

itertools.groupby

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：778463939
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
import itertools
l1 = [1,4,4,2,3,4,5,6,1]
l1.sort()
l = []
it = itertools.groupby(l1)
for k,g in it:
    l.append(k)
print(l)      # [1, 2, 3, 4, 5, 6]

fromkeys

l1 = [1,4,4,2,3,4,5,6,1]
t = list({}.fromkeys(l1).keys())
# 解决顺序问题
t.sort(key=l1.index)
print(t)         # [1, 4, 2, 3, 5, 6]

通过删除索引

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：778463939
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
l1 = [1,4,4,2,3,4,5,6,1]
t = l1[:]
for i in l1:
    while t.count(i) >1:
          del t[t.index(i)]
# 解决顺序问题
t.sort(key=l1.index)
print(t)    # [1, 4, 2, 3, 5, 6]

去重不改变顺序

建立新列表[]

l1 = [1,4,4,2,3,4,5,6,1]
new_l1 = []
for i in l1:
    if i not in new_l1:
        new_l1.append(i)
print(new_l1)    # [1, 4, 2, 3, 5, 6]

reduce方法

from functools import reduce
l1 = [1,4,4,2,3,4,5,6,1]
func = lambda x,y:x if y in x else x + [y]
print(reduce(func,[[],]+l1))   # [1, 4, 2, 3, 5, 6]

python去重

通过内置的数据结构去重

• 使用set数据类型直接进行去重
  当要去重的元素是dict或者[dict]就不是很理想
  通过set去重字典
  通过set去重[dict]
  
  可以直接通过set去重列表、元组、字符串
  

a = (1, 2, 2, 1)
print("去重元组", set(a))  # 去重元组
#
a = [1, 2, 3, 2]
print("去重列表", set(a))  # 去重列表
#
a = '123123'
print("去重字符串", set(a))  # 去重字符串

• 通过字典的key去重
  因为字典的key是不可以重复的，所以我们就可以通过字典的key来进行去重.
  

  a = [1, 2, 3, 1, 2]
  dict1 = {}
  for i in a:
      dict1[i] = ''
  print("通过字典的可以来进行去重", dict1.keys())
  

• 通过python内置的函数来去重
  我们可以使用reduce这个方法来进行去重
  
  官方的一段介绍
  Apply a function of two arguments cumulatively to the items of a sequence,
  from left to right, so as to reduce the sequence to a single value.
  For example, reduce(lambda x, y: x+y, [1, 2, 3, 4, 5]) calculates
  ((((1+2)+3)+4)+5). If initial is present, it is placed before the items
  of the sequence in the calculation, and serves as a default when the
  sequence is empty.
  加粗样式

  a = [1, 2, 3, 4, 1, 2, 3, 4, 5, 6, 7]
  def fun1(a, b):
      if not str(b) in a:
          a.append(str(b))
      return a
  c = reduce(fun1, [[], ] + a)
  print(c)	
  

开发中对数组、列表去重是非常常见的需求，对一个list中的id进行去重，有下面几种方法，前面两种方法不能保证顺序， 后面两种方法可以保持原来的顺序。

下面的代码都在Python3下测试通过， Python2下请自行测试

1. 使用set的特型，python的set和其他语言类似, 是一个无序不重复元素集

结果：

2. 使用keys()方法

结果：

上面两种方法的问题是：结果是没有保持原来的顺序。

3. 循环遍历法

结果：

but，这样的代码不够简洁，不够高端

4. 按照索引再次排序

结果：