在用TVM优化过程中,常见demo如下图:

TVM python中relay.build流程

relay.build背后的调用机制梳理如下:

  1. python中的build函数实现如下,此方法实际调用了BuildModule类的build方法,
    1. TVM python中relay.build流程
  2. BuildModule获取的C++函数build方法,此处涉及混合编程:

    1. TVM python中relay.build流程

  3. _build_module._BuildModule() 来自于这句注册:
    1. tvm._ffi._init_api("relay.build_module", __name__)
    2. self.mod["build"]调用RelayBuildModule的GetFunction方法,其中name为“build”:
      1. TVM python中relay.build流程
  4. RelayBuildModule类的build方法如下,主要包含两部分功能,Optimize和codegen
    1. TVM python中relay.build流程
    2. Optimize函数有很多优化策略,
    3. TVM python中relay.build流程
    4. 在此处执行,实际执行的是SequentialNode的operator方法:
    5. TVM python中relay.build流程
    6. Sequential::Sequential构造函数如下,其中name为声明带默认参数:
    7. TVM python中relay.build流程
    8. Sequential的operator->()方法调用的是SequentialNode的operator()方法:

    9. TVM python中relay.build流程
    10. codegen 代码逻辑如下:
    11. TVM python中relay.build流程
    12. GetPackedFun函数调用的是提前注册的函数CreateGraphCodegenMod(),返回GraphRuntimeCodegenModule类型的对象
    13. TVM python中relay.build流程
  5. graph_codegen_ 指针指向的是GraphRuntimeCodegenModule类的对象,Init方法,Codegen方法,GetIRModule都来自于注册的GraphRuntimeCodegenModule 实例

    1. TVM python中relay.build流程

    2. Codegen 调用GraphRuntimeCodegenModule的codegen_,是GraphRuntimeCodegen的实例指针,调用的codegen代码如下

    3. TVM python中relay.build流程

相关文章:

  • 2021-07-12
  • 2022-12-23
  • 2021-08-30
  • 2022-01-11
  • 2021-08-14
  • 2022-03-07
  • 2021-09-03
  • 2021-09-29
猜你喜欢
  • 2021-07-08
  • 2021-06-23
  • 2021-12-16
  • 2022-02-24
  • 2021-12-13
  • 2021-09-17
  • 2021-06-14
相关资源
相似解决方案