为什么数组+=（没有@.）会产生这么多的内存分配？

Question

我不明白为什么数组的 += 操作会产生如此多的内存分配，但是在应用 @ 时它会得到修复。

function loop()
    a = randn(10)
    total = similar(a)

    for i=1:1000
        total += a
    end
end

function loopdot()
    a = randn(10)
    total = similar(a)

    for i=1:1000
        @. total += a
    end
end


loop()
loopdot()

Profile.clear_malloc_data()

loop()
loopdot()

生产

160000         total += a

和

0         @. total += a

Answer 1

total += a 与 total = a + total 相同，这是一个矢量化操作，如：

out = similar(a)
for i in eachindex(a)
  out[i] = total[i] + a[i]
end
total = out

因为内部是

total = +(total,a)

这就像 MATLAB、Python 或 R 一样，因此有一个为向量化操作分配的临时数组，然后 = 将 total 的引用设置为这个新数组。这就是为什么向量化操作比传统的低级循环慢的原因，也是使用 NumPy 之类的东西可以比 Python 更快但不能完全达到 C 的主要原因之一（因为这些临时性！）。

@. total += a 与total .= total .+ a 相同。 This blog post 解释说，在 Julia 中，通过匿名函数进行语义点融合，因此对应于执行以下操作：

# Build an anonymous function for the fused operation
f! = (a,b,c) -> (a[i] = b[i] + c[i])
# Now loop it, since it's `.=` don't make a temporary
for i in eachindex(a)
  f!(total,total,a)
end

在不创建临时数组的情况下就地更新total。

Julia 中的融合发生在语义上：这种将点操作转换为匿名函数加上 broadcast! 调用（本质上是我在那里编写的循环）是在解析时完成的，并且匿名函数是这样编译的是有效的。由于其他原因，这也非常有用。通过在泛型f! 上重载broadcast!，这就是像GPUArrays.jl 这样的东西自动构建高效的单个内核的方式，这些内核在GPU 上进行就地更新。这与 MATLAB、Python 和 R 不同，其中不同的向量化函数被视为不同的函数调用，因此必须计算返回值，因此需要计算临时数组。