python np去除重复数据列

可以使用numpy库中的unique函数，设置参数axis=1，即按列进行去重。例如：

import numpy as np

arr = np.array([[1, 2, 3, 4], [1, 2, 5, 4], [1, 2, 3, 4]])
arr = np.unique(arr, axis=1)
print(arr)

输出结果为：

[[1 2 3]
 [4 5]]

其中，第一列和第三列是重复的，被去除掉了。

相关问题

python删除列表重复数据

### 删除Python列表中的重复元素

对于简单的内置数据类型的列表，可以使用集合（`set`）来去除重复项。这种方法简单高效：

my_list = [1, 2, 2, 3, 4, 4, 5]
unique_elements = list(set(my_list))
print(unique_elements)  # 输出可能是无序的结果，因为 set 不保持顺序 [^1]

然而，当处理对象列表时，上述方法不再适用，因为默认情况下 `set()` 只能用于可哈希的数据类型。为了移除对象列表里的重复项，可以通过定义对象的唯一标识符来进行比较。这里提供一种基于属性过滤的方法：

假设有一个类 `Item` 和其实例组成的列表：

class Item:
    def __init__(self, id):
        self.id = id
    
    def __repr__(self):
        return f'Item({self.id})'

items = [Item(1), Item(2), Item(2), Item(3)]
seen_ids = set()
filtered_items = []

for item in items:
    if item.id not in seen_ids:
        filtered_items.append(item)
        seen_ids.add(item.id)

print(filtered_items)  # Output: [Item(1), Item(2), Item(3)] [^2]

另外，在某些场景下可能需要保留原始列表中第一次出现的独特元素的位置关系。此时应该遍历整个列表并记录已经遇到过的元素。

如果面对的是二维数组或更复杂结构，则可以根据具体需求调整策略。例如，针对NumPy数组去重的情况如下所示：

import numpy as np

data = np.array([[1,8,3,3,4], [1,8,9,9,4], [1,8,3,3,4]])
unique_data = np.unique(data, axis=0)
print(unique_data)  # [[1 8 3 3 4][1 8 9 9 4]] [^3]

关于算法的时间复杂度分析，构建一个集合的操作平均时间复杂度接近 O(n)，其中 n 是输入大小；而查询操作则几乎可以在常数时间内完成。但是需要注意的是，实际性能会受到多种因素的影响，比如内存分配模式以及是否存在大量冲突等[^4]。

python去除重复数据

在Python中，有几种常见的方法可以去除列表、集合或者字典中的重复元素：

1. **列表推导式** (List Comprehension)：
对于列表，你可以使用列表推导式配合 `if` 条件来过滤出唯一的元素，如：

   unique_list = [x for i, x in enumerate(lst) if x not in lst[:i]]

2. **set() 函数**：
如果你想快速去除所有类型的重复元素，可以直接将序列转换成 set（集合），因为集合不允许有重复项，然后转回列表：

   unique_list = list(set(lst))

这种方法会保持原顺序（如果需要）。

3. **dict.fromkeys() 或者 defaultdict**：
使用 `dict.fromkeys()` 可以创建一个新的字典，键只允许唯一，然后再取其值，自动去除了重复的元素。对于有序性要求不高，且元素本身不可哈希的情况，可以考虑使用 `collections.defaultdict` 的同名方法：

   from collections import defaultdict
   unique_list = list(defaultdict(list).fromkeys(lst))

4. **numpy库** (仅对数值数组适用):
对于 numpy 数组，可以使用 `numpy.unique()` 函数：

   import numpy as np
   unique_array = np.unique(lst)