【问题标题】:How to compare equality of dataclasses holding numpy.ndarray (bool(a==b) raises ValueError)?如何比较持有 numpy.ndarray 的数据类的相等性(bool(a==b)引发 ValueError)?
【发布时间】:2023-03-20 12:30:02
【问题描述】:

如果我创建一个包含 Numpy ndarray 的 Python 数据类,我将无法再使用自动生成的 __eq__

import numpy as np

@dataclass
class Instr:
    foo: np.ndarray
    bar: np.ndarray

arr = np.array([1])
arr2 = np.array([1, 2])
print(Instr(arr, arr) == Instr(arr2, arr2))

ValueError:具有多个元素的数组的真值不明确。使用 a.any() 或 a.all()

这是因为ndarray.__eq__ 有时 通过比较a[0]b[0],以此类推,直到2 中较长的一个,返回一个ndarray 的真值。这个非常复杂且不直观,实际上只有当数组的形状不同或具有不同的值或其他东西时才会引发错误。

我如何安全地比较持有 Numpy 数组的 @dataclasses?


@dataclass__eq__ 的实现是使用eval() 生成的。它的源代码从堆栈跟踪中丢失,无法使用inspect 查看,但它实际上使用了一个元组比较,它调用了bool(foo)。

import dis
dis.dis(Instr.__eq__)

摘录:

  3          12 LOAD_FAST                0 (self)
             14 LOAD_ATTR                1 (foo)
             16 LOAD_FAST                0 (self)
             18 LOAD_ATTR                2 (bar)
             20 BUILD_TUPLE              2
             22 LOAD_FAST                1 (other)
             24 LOAD_ATTR                1 (foo)
             26 LOAD_FAST                1 (other)
             28 LOAD_ATTR                2 (bar)
             30 BUILD_TUPLE              2
             32 COMPARE_OP               2 (==)
             34 RETURN_VALUE

【问题讨论】:

标签: python numpy python-dataclasses


【解决方案1】:

解决方案是放入您自己的 __eq__ 方法并设置 eq=False 以便数据类不会生成自己的(尽管检查 docs 最后一步不是必需的,但我认为这样做很好无论如何都是明确的)。

import numpy as np

def array_eq(arr1, arr2):
    return (isinstance(arr1, np.ndarray) and
            isinstance(arr2, np.ndarray) and
            arr1.shape == arr2.shape and
            (arr1 == arr2).all())

@dataclass(eq=False)
class Instr:

    foo: np.ndarray
    bar: np.ndarray

    def __eq__(self, other):
        if not isinstance(other, Instr):
            return NotImplemented
        return array_eq(self.foo, other.foo) and array_eq(self.bar, other.bar)

编辑

通用数据类的通用快速解决方案,其中一些值是 numpy 数组,而另一些则不是

import numpy as np
from dataclasses import dataclass, astuple

def array_safe_eq(a, b) -> bool:
    """Check if a and b are equal, even if they are numpy arrays"""
    if a is b:
        return True
    if isinstance(a, np.ndarray) and isinstance(b, np.ndarray):
        return a.shape == b.shape and (a == b).all()
    try:
        return a == b
    except TypeError:
        return NotImplemented

def dc_eq(dc1, dc2) -> bool:
   """checks if two dataclasses which hold numpy arrays are equal"""
   if dc1 is dc2:
        return True
   if dc1.__class__ is not dc2.__class__:
       return NotImplmeneted  # better than False
   t1 = astuple(dc1)
   t2 = astuple(dc2)
   return all(array_safe_eq(a1, a2) for a1, a2 in zip(t1, t2))

# usage
@dataclass(eq=False)
class T:

   a: int
   b: np.ndarray
   c: np.ndarray

   def __eq__(self, other):
        return dc_eq(self, other)

【讨论】:

  • 这有点工作,但我想我必须这样做。
  • 请记住,在 attrs/dataclasses 之前,无论如何您都必须这样做
  • 我最终比较了arr.tolist(),所以我不必担心由于广播恶作剧而导致数组错误相等,这是个好主意吗?
  • 这可行,但效率不高。我们在这里谈论的是什么广播恶作剧?
  • 这主要用于单元测试,我不想要 1 == [1] == [[[1]]] 或 [1,1,1] == 1。
猜你喜欢
  • 2018-06-12
  • 1970-01-01
  • 2016-08-27
  • 1970-01-01
  • 2021-08-19
  • 2021-10-04
  • 1970-01-01
  • 1970-01-01
  • 2012-12-26
相关资源
最近更新 更多