在pytorch中，方括号索引和“index_select”有什么区别？答案

【问题标题】：In pytorch, what is the difference between indexing with square brackets and "index_select"?在pytorch中，方括号索引和“index_select”有什么区别？
【发布时间】：2021-11-03 12:10:29
【问题描述】：

假设有两个pytorch张量a，即float32，形状为[M, N]，和b，即int64，形状为[K]。 b 中的值在 [0, M-1] 范围内，因此以下行给出了一个新的张量 c，由 b 索引：

c = a[b]    # [K, N] tensor whose i-th row is a[b[i]], with `IndexBackward`

但是，在我的一个项目中，这行总是报如下错误（用torch.autograd.detect_anomaly()检测到：

  with torch.autograd.detect_anomaly():
[W python_anomaly_mode.cpp:104] Warning: Error detected in IndexBackward. Traceback of forward call that caused the error:
...
File "/home/user/project/model/network.py", line 60, in index_points
    c = a[b]
 (function _print_stack)

Traceback (most recent call last):
  File "main.py", line 589, in <module>
    main()
  File "main.py", line 439, in main
    train_stats = train(
  File "/home/user/project/train_eval.py", line 866, in train
    total_loss.backward()
  File "/home/user/.local/lib/python3.8/site-packages/torch/_tensor.py", line 255, in backward
    torch.autograd.backward(self, gradient, retain_graph, create_graph, inputs=inputs)
  File "/home/user/.local/lib/python3.8/site-packages/torch/autograd/__init__.py", line 147, in backward
    Variable._execution_engine.run_backward(
RuntimeError: merge_sort: failed to synchronize: cudaErrorIllegalAddress: an illegal memory access was encountered

请注意，上面的c = a[b] 行不是唯一 出现上述错误的，而只是许多其他带有方括号索引的行之一。

但是，当我更改索引样式时，问题就神奇地消失了

c = a[b]

到

c = a.index_select(0, b)

我不明白为什么使用方括号进行索引会导致非法内存访问，但这让我有足够的理由相信方括号索引和index_select 的实现方式不同。理解这一点可能是解释这一点的关键。另外，由于该项目相当大且不公开，我不能在这里分享确切的代码。您可以将上述内容视为背景，并关注方括号索引和index_select 的不同之处。谢谢！

附加信息：

ubuntu 20.04 + cuda 11.2 + RTX3090
pytorch 1.9.0 + torchvision 1.10.0 + pytorch3d 0.6.0
该项目涉及到训练一个网络，只有当我使用 pytorch3d 中的 Pulsar 渲染器来渲染某些东西（实际上，任何东西，即使渲染的数据与原始代码完全无关）时，才会出现错误。

【问题讨论】：

标签： pytorch illegalaccessexception pytorch3d

【解决方案1】：

torch.index_select 返回一个新张量，它将索引字段复制到新的内存位置 (docs)。

torch.Tensor.select 或切片返回原始张量 (docs) 的视图。

如果没有看到更多代码，很难说为什么这种特殊的功能差异会导致上述错误。

【讨论】：