如何在 coremltools 转换器中实现 replication_pad2d 层作为 torch_op答案

【问题标题】：how to Implement replication_pad2d layer in to coremltools converters as torch_op如何在 coremltools 转换器中实现 replication_pad2d 层作为 torch_op
【发布时间】：2021-02-06 18:24:34
【问题描述】：

我一直在尝试将我的 pytorch 模型转换为 coreML 格式，但是目前不支持其中一层replication_pad2d。因此，我试图使用寄存器运算符装饰器@register_torch_op 来实现它，以重新实现 coremltools.converters 的层，但是我正在努力理解能够实现该功能的输入类型。我得到了这个，这是一个从 pytorch 大致翻译的实现，但它不起作用

from coremltools.converters.mil import Builder as mb
from coremltools.converters.mil import register_torch_op
from coremltools.converters.mil.frontend.torch.ops import _get_inputs

@register_torch_op
def replication_pad2d(context, node):
  inputs = _get_inputs(context, node)
  x = inputs[0]
  a = len(x)
  L_list, R_list = [], []
  U_list, D_list = [], []
  for i in range(a):#i:0, 1
    l = x[:, :, :, (a-i):(a-i+1)]
    L_list.append(l)
    r = x[:, :, :, (i-a-1):(i-a)]
    R_list.append(r)
  L_list.append(x)
  x = mb.concat(L_list+R_list[::-1], axis=3, name=node.name)
  for i in range(a):
    u = x[:, :, (a-i):(a-i+1), :]
    U_list.append(u)
    d = x[:, :, (i-a-1):(i-a), :]
    D_list.append(d)
  U_list.append(x)
  x = mb.concat(U_list+D_list[::-1], axis=3, name=node.name)
  context.add(x)

但出现以下错误

<ipython-input-12-cf14ed84cb93> in replication_pad2d(context, node)
     59   inputs = _get_inputs(context, node)
     60   x = inputs[0]
---> 61   a = len(x)
     62   L_list, R_list = [], []
     63   U_list, D_list = [], []

TypeError: object of type 'Var' has no len()

如果有人能帮助我更好地理解这一点，尤其是输入类型节点和上下文，那就太好了

【问题讨论】：

这些东西基本上没有文档记录，恐怕您必须深入研究 coremltools 源代码才能理解这一点。但是，恐怕您当前的方法无论如何都行不通：据我所知，all 操作需要使用mb 来表示。但是您正在构建一个 Python 列表来捕获中间结果。 Builder 对象永远不会看到这个。而不是写像l = x[:, :, :, (a-i):(a-i+1)] 这样的东西，你必须使用像mb.split() 这样的东西，等等。（我自己还没有详细使用过这个，所以我可能会误解其中的一些。）
然而，Core ML 在其现有的填充层中确实有一个PaddingReplication 模式。也许更简单的解决方案是“破解”coremltools 以支持这种模式。

标签： pytorch coreml coremltools

【解决方案1】：

我认为您可以将现有的填充层用作：

from coremltools.converters.mil import Builder as mb
from coremltools.converters.mil import register_torch_op
from coremltools.converters.mil.frontend.torch.ops import _get_inputs

@register_torch_op(torch_alias=["replication_pad2d"])
def HackedReplication_pad2d(context, node):
    inputs = _get_inputs(context, node)
    x = inputs[0]
    pad = inputs[1].val
    x_pad = mb.pad(x=x, pad=[pad[2], pad[3], pad[0], pad[1]], mode='replicate')
    context.add(x_pad, node.name)

填充操作的文档不是很好，所以填充参数的排序是一个猜谜游戏。

【讨论】：