set特点

1. 确定性：元素要么在集合内，要么不在集合内，一定是确定的。
2. 互异性：在同一个集合中，元素是唯一的，表现为互异性。
3. 无序性：每个元素的地位都是相同的，元素之间是无序的。

python 使用set快速去重

num_list = [1, 1, 2, 3, 3, 3]
num_set = set(num_list)		# 集合互异性去重
num_list = list(num_set)	# 集合转换回列表
print(num_set)      		# {1, 2, 3}
print(num_list)     		# [1, 2, 3]

以下演示了两个集合的操作

>>> a = set('abracadabra')
>>> b = set('alacazam')
>>> a            # a 中唯一的字母
{'a', 'r', 'b', 'c', 'd'}
>>> a - b        # 在 a 中的字母，但不在 b 中
{'r', 'd', 'b'}
>>> a | b        # 在 a 或 b 中的字母
{'a', 'c', 'r', 'd', 'b', 'm', 'z', 'l'}
>>> a & b        # 在 a 和 b 中都有的字母
{'a', 'c'}
>>> a ^ b        # 在 a 或 b 中的字母，但不同时在 a 和 b 中
{'r', 'd', 'b', 'm', 'z', 'l'}

set的使用方法

前言

python里面常用的数据结构有列表、集合、字典、字符串、元组
有的时候会遇到需要将相同的数据进行去重的操作，你可以使用内置函数set()函数来去重。
因为集合内部默认是不能出现相同的元素的，所以集合不需要进行去重。

思路

set()函数其实是将其他的数据类型转换为集合类型的一个函数。
我们去重的中心思想就是集合之中不能出现相同的元素，一旦有相同的元素出现时就会将其合并。
然后你可以结合其他的类型转换函数，将去重后的集合转换回来。
因为字典的结构比较特殊，如果通过set()函数去重时，将会被删去某些元素，所以不能直接用set()去重

相关介绍

Python列表去重的几种方法

python常用的去重方式

Python数据分析实战基础(二)：清洗常用4板斧

一、列表去重

lis = [1,1,1,1,1,2,2,22]

print(lis)

print(list(set(lis)))

二、元组去重

tup = (1,2,1,2,1,2,223)

print(tup)

print(tuple(set(tup)))

三、字符串去重

对字符串进行去重和前面两个数据类型去重不同，不能直接用str()函数将去重后的集合转换为字符串
而且用这种方法去重后，字符串中的字符顺序也会发生随机变更`

string1 = "aaabbbcccc"

print(string1)

string2 = ''.join(list(set(string1)))

print(string2)