计算稀疏Hessian的边缘推送算法答案

【问题标题】：Edge Pushing Algorithm for computing sparse Hessian计算稀疏Hessian的边缘推送算法
【发布时间】：2020-11-15 15:30:53
【问题描述】：

我正在尝试自己实现一些 AD 算法，但我不太了解 Gower 和 Mello 的 edge pushing algorithm 用于计算稀疏 Hessian 矩阵。

是否需要生成“原始梯度”的新计算图（例如在计算 (x^2) 时是否应生成图 (2*x) 以求二阶导数 (2)），因为论文指出，虚线弧代表“非线性相互作用”，伴随物究竟是如何累积形成二阶导数的？

另外，如果需要一个新图，这与符号微分有何不同？谢谢！

【问题讨论】：

【解决方案1】：

不需要生成新的图表。相反，只需要将非线性边“添加”到原始计算图中。我说“添加”是因为实际上，您只需要以相反的顺序遍历计算图，并在您发现节点的前任之间存在非线性交互时动态添加非线性边。明天我会将一些详细说明此内容的幻灯片上传到我的网页： https://gowerrobert.github.io/

【讨论】：