【问题标题】:Generating the Boolean Expression from a hand drawn logic gates diagram using OpenCV python使用 OpenCV python 从手绘逻辑门图生成布尔表达式
【发布时间】:2019-06-16 23:04:39
【问题描述】:

输入手绘逻辑门图

我使用 YOLO 训练和识别带有标签(字母)的 7 个不同的逻辑门。 检测输入图像中的逻辑门和标签。

在这里,我得到了一个包含每个矩形的数组列表(框)。每个列表包含以下每个详细信息 矩形按顺序, • 矩形标签 • 矩形左上角的 x,y 坐标 • 矩形右下角的 x,y 坐标

矩形框数组。

boxes = [['AND', (614, 98), (1146, 429)], ['NOT', (525, 1765), (1007, 1983)], ['NAND', (762, 1188), (1209, 1528)], ['NOR', (1323, 272), (1884, 682)], ['OR', (575, 599), (1225, 985)], ['XOR', (1393, 1368) , (2177, 1842)], ['XNOR', (2136, 859), (2762, 1231)], ['A', (34, 50), (321, 224)], ['B', (12, 305) , (344, 487)], ['C', (3, 581), (391, 779)], ['D', (0, 828), (400, 1060)], ['E', (0, 1143), (354, 1351)], ['F' , (0, 1418), (313, 1615)], ['G', (0, 1753), (301, 1985)], ['输出', (2810, 940), (3069, 1184)]]]

之后,我使用概率霍夫线变换来检测标签和逻辑门之间的线。 为此,我引用了此链接 [How to merge lines after HoughLinesP?。通过使用此链接,我将行数减少到最少,最后只得到 35 行。 检测 35 条绿色线

然后我对这 35 条线进行分类,并对彼此靠近的线进行分组。最后,我得到了 14 行。 最后的 14 行图像。

14 行数组。

final_line_points = [[[(87, 1864), (625, 1869)]], [[(623, 1815), (1354, 1855)], [(1343, 1660), (1770, 1655)] , [(1348, 1656), (1348, 1869)]], [[(102, 971), (531, 945)], [(518, 835), (892, 825)], [(521, 830) , (526, 949)]], [[(105, 1260), (494, 1254)], [(487, 1351), (891, 1340)], [(489, 1252), (491, 1356)]], [[(107, 1533) ), (526, 1510)], [(516, 1432), (892, 1410)], [(521, 1433), (520, 1514)]], [[(111, 432), (519, 396)],[( 499, 313), (820, 299)], [(503, 310), (506, 402)]], [[(123, 157), (496, 150)], [(493, 144), (498, 247)], [( 495, 242), (815, 234)]], [[(170, 692), (509, 687)], [(504, 771), (888, 764)], [(505, 685), (508, 775)]],[[(936, 264) ), (1229, 261)], [(1227, 257), (1240, 485)], [(1234, 481), (1535, 458)]], [[(985, 1361), (1343, 1347)], [(1341, 1344), (1348, 1578)], [(1345, 1575), (1773, 1571)]], [[(991, 796), (1264, 778)],[(1240, 535), (1544, 520)], [(1247, 532) , (1254,783)]],[[(1546, 582), (2156, 489)], [(2154, 488), (2148, 1021)]], [[(2153, 1087), (2164, 1581 )]], [[(2444, 1139), (3017, 1055)]]]

那么如何通过使用上述 2 个数组(框、final_line_points)获得以下输出?

【问题讨论】:

  • 可以假设图表总是从左到右吗?即对于门,来自左侧的行是条目,输出是右侧的行?

标签: python opencv image-processing


【解决方案1】:

您的项目看起来很酷,所以我花了一些时间寻找解决方案。我想出了下面的代码。代码的结果是:

OUTPUT[XNOR[NOR[AND[B, A], OR[D, C]], XOR[NOT[G], NAND[E, F]]]]

我假设如果一个元素比另一个元素在最左边,那么它就是前一个块。我还假设在您的一组行中,第一行是正确的...这使我可以将您的 14 组几行简化为一组 14 行。

boxes = [['AND', (614, 98), (1146, 429)], ['NOT', (525, 1765), (1007, 1983)], ['NAND', (762, 1188), (1209, 1528)],
         ['NOR', (1323, 272), (1884, 682)], ['OR', (575, 599), (1225, 985)], ['XOR', (1393, 1368), (2177, 1842)],
         ['XNOR', (2136, 859), (2762, 1231)], ['A', (34, 50), (321, 224)], ['B', (12, 305), (344, 487)],
         ['C', (3, 581), (391, 779)], ['D', (0, 828), (400, 1060)], ['E', (0, 1143), (354, 1351)],
         ['F', (0, 1418), (313, 1615)], ['G', (0, 1753), (301, 1985)], ['OUTPUT', (2810, 940), (3069, 1184)]]
final_line_points = [[[(87, 1864), (625, 1869)]],
                     [[(623, 1815), (1354, 1855)], [(1343, 1660), (1770, 1655)], [(1348, 1656), (1348, 1869)]],
                     [[(102, 971), (531, 945)], [(518, 835), (892, 825)], [(521, 830), (526, 949)]],
                     [[(105, 1260), (494, 1254)], [(487, 1351), (891, 1340)], [(489, 1252), (491, 1356)]],
                     [[(107, 1533), (526, 1510)], [(516, 1432), (892, 1410)], [(521, 1433), (520, 1514)]],
                     [[(111, 432), (519, 396)], [(499, 313), (820, 299)], [(503, 310), (506, 402)]],
                     [[(123, 157), (496, 150)], [(493, 144), (498, 247)], [(495, 242), (815, 234)]],
                     [[(170, 692), (509, 687)], [(504, 771), (888, 764)], [(505, 685), (508, 775)]],
                     [[(936, 264), (1229, 261)], [(1227, 257), (1240, 485)], [(1234, 481), (1535, 458)]],
                     [[(985, 1361), (1343, 1347)], [(1341, 1344), (1348, 1578)], [(1345, 1575), (1773, 1571)]],
                     [[(991, 796), (1264, 778)], [(1240, 535), (1544, 520)], [(1247, 532), (1254, 783)]],
                     [[(1546, 582), (2156, 489)], [(2154, 488), (2148, 1021)]], [[(2153, 1087), (2164, 1581)]],
                     [[(2444, 1139), (3017, 1055)]]]
def dist(pt1, pt2):
    return (pt1[0] - pt2[0]) ** 2 + (pt1[1] - pt2[1]) ** 2


def seg_dist(seg1, seg2):
    distances = [dist(seg1[i], seg2[j]) for i in range(2) for j in range(2)]
    return min(enumerate(distances), key=lambda x: x[1])


sorted_lines = []
for lines in final_line_points:
    connected_part = lines[0]
    non_connected = lines[1:]
    while non_connected:
        mat_dist = [seg_dist(connected_part, non_connected[i])[1] for i in range(len(non_connected))]
        i, min_dist = min(enumerate(mat_dist), key=lambda x: x[1])
        seg_to_connect = non_connected.pop(i)
        idx, real_dist = seg_dist(connected_part, seg_to_connect)
        if idx == 0:
            print("error: this case is not handled")
            exit()
        elif idx == 1:
            print("error: this case is not handled")
            exit()
        elif idx == 2:
            connected_part[1] = seg_to_connect[1]
        elif idx == 3:
            connected_part[1] = seg_to_connect[0]
    sorted_lines.append(connected_part)


class node():
    def __init__(self, name, box) -> None:
        super().__init__()
        self.name = name
        self.box = [(min(box[0][0], box[1][0]), min(box[0][1], box[1][1])),
                    (max(box[0][0], box[1][0]), max(box[0][1], box[1][1]))]
        self.args = []
        self.outputs = []

    def __contains__(self, item):
        return self.box[0][0] <= item[0] <= self.box[1][0] and self.box[0][1] <= item[1] <= self.box[1][1]

    def __str__(self) -> str:
        if self.args:
            return f"{self.name}{self.args}"
        else:
            return f"{self.name}"

    def __repr__(self) -> str:
        return self.__str__()

    def center(self):
        return (self.box[0][0] + self.box[1][0]) / 2, (self.box[0][1] + self.box[1][1]) / 2


nodes = [node(box[0], box[1:]) for box in boxes]

for line in sorted_lines:
    start_point = line[0]
    end_point = line[1]
    try:
        gate1 = next(node for node in nodes if start_point in node)
        gate2 = next(node for node in nodes if end_point in node)
        if gate1.center() < gate2.center():
            source_gate = gate1
            dest_gate = gate2
        else:
            source_gate = gate2
            dest_gate = gate1
        source_gate.outputs.append(dest_gate)
        dest_gate.args.append(source_gate)
    except StopIteration:
        print(f"{start_point} or {end_point} not in any of the boxes")

print(next(node for node in nodes if node.name == "OUTPUT"))

如果需要,我可以改天再解释,或者您可以从这里开始。无论如何,尽情享受您的项目吧。

编辑:

我的目标是构建一个图,其中节点是框,边是线。问题是这些线仅被定义为一组闭合线。他们也处于混乱状态,但首先。所以第一步就是把每组线变成一条直线。这就是我所说的sorted_lines

为了构建这个列表,我使用了以下逻辑:

  1. 对于每组线,将其分为连接部分和非连接部分
  2. 连接部分的初始化是集合的第一行。正如我所说,在这里我假设第一行是正确的。尝试改进这一点,因为这种假设在其他情况下可能是错误的。
  3. 当有非连接线时,请执行以下操作:

    • 找到距离连接部分最近的段
    • 将其从非连接部分移除
    • 检查段的哪一端离连接部分最近
    • 如果它是线段的第一个点,则连接部分的最后一个点将成为线段的第二个点,否则第一个点将成为最后一个点。

在检查中,未处理的情况是当要连接的段关闭到连接部分的第一个点而不是最后一个点时。这没有处理,因为我假设第一行是正确的。再一次,这可以改进。

现在你已经对你的行进行了排序,为每一行找到包含每一端的节点。选择最左边的作为源门,选择最右边的作为目的门。由于边缘没有方向,我不得不假设一个方向。更新目的门的输入和源门的输出。

最后打印图表的最后一个门。

【讨论】:

  • 非常感谢您的支持,这就是我一直在寻找的。您的代码工作正常。如果可能并且正如您所提到的,我需要有关此代码和您的逻辑的解释用过。
  • 我们如何通过这种方式获取布尔表达式?[stackoverflow.com/questions/54461659/…
【解决方案2】:

首先,您应该以公式的形式定义如何绘制/输出每个门。例如,XNOR 是一条与它下面的文本一样长的行,中间有 x 参数和一个带圆圈的 +。

现在您可以反向遍历架构。从最右边的框开始,这是您的输出 Q。在输出中查找结束的行(= 行的最右边点 / 元组的最高 x),然后选择该行开始的框。那是一个XNOR。如上所述,XNOR 被定义为具有参数/输入。因此,在 XNOR 框中寻找最右边的线。接下来选择这些行开始的框。首先是 NOR,然后是 XOR。重复循环,NOR 的参数是 AND 门和 OR 门。再次重复,与门的参数是输入 A 和 B。它们没有输入/没有以它们结尾的行,因此这些是要打印的实际值。

可视化:
(这是不是代码,否则我无法提交答案)

Q = XNOR(A,B)  
A = NOR(C,D)  
So, Q = XNOR(NOR(C,D),B)  
C = AND(E,F)  
So Q = XNOR(NOR(AND(E,F),D),B)  
E = input A  
F = input B  
So Q = XNOR(NOR(AND("A","B"),D),B)  
D = OR(G,H)  
So Q = XNOR(NOR(AND("A","B"),OR(G,H)),B)  
ect.

要考虑公式的大小,您可以使大小取决于 '层'-编号。为不同类型的门创建类将使整个过程变得更加容易。

这个伪代码展示了上面的概念:

# to draw an XNOR gate:
def draw():
    arguments = get_start_box_of_lines_ending_in_this_box(this.boundingBox, lines)
    for gate in arguments:
        gate.draw()
        # TODO: draw encircled + (except after the last argument)

    # TODO: draw a line over the output generated by the code above

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-02-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-04-28
    • 2020-02-17
    相关资源
    最近更新 更多