python知识点100篇系列（8）-字典去重复的几种方法

先说一下什么是数组：

数组的定义：

数组是相同类型数据的有序集合. 数组描述的是相同类型的若干个数据,按照一定的先后次序排列组合而成。其中,每一个数据称作一个数组元素,每个数组元素可以通过一个下标来访问它们.

数组中的元素是可以重复的，所以就出现了去重的需求；

在python中，字典去重的方法有很多；

1、使用set;arr = 'a','b','a','c','b' def quchong01(arr): return list(set(arr)) print(quchong01(arr))多次执行以上代码，会发现输出顺序可能会不一样； a={}undefined a = a.fromkeys(arr) return list(a)

print(quchong02(arr))多次执行以上代码，输出是一致的

2、使用字典的key
3、循环比较去重def quchong03(data): new_data = [] for i in range(len(data)): if datai not in new_data: new_data.append(datai) return new_data print(quchong03(arr))def quchong04(data): import pandas as pd return pd.unique(data).tolist()undefined
4、使用pandas

特殊情况：

如果数组是字典组成的，是无法直接对数组内的字典采用set的方式进行去重的；因为使用 set 去重的前提是该对象为不可变对象，而字典是可变对象，因此无法直接使用该方法去重。

字典数组去除重复的方法：

字典之所以不能用set去重，是因为它是可变对象。可以把它变成不可变对象data = {"a": 1}, {"a": 1}, {"a": 3}, {"b": 4} def quchong05(data): immutable_dict = set(str(item) for item in data) data = eval(i) for i in immutable_dict return data print(quchong05(data))遍历字典，将每个子项变成字符串存放到数组中，再通过set函数去重。

通过eval函数，将去重后的数组里的每个子项重新转化回字典。

代码语言：python代码运行次数：0复制

def quchong06(data):
    data = [dict(t) for t in set([tuple(d.items()) for d in data])]
    return data

print(quchong06(data))

0 人点赞