使用 PyTorch 在 2D 张量中生成唯一行索引作为输出 1D 张量

Question

当我在 PyTorch（1.6 版）的批量多类分类中实现 target 时，我遇到了以下问题。

我得到了一个变量D（与标签描述有关），大小为torch.Size([16, 128])，即[data_size,token_id_size]。

最初的想法是生成一个torch.Size([16])的target张量，每个值都是唯一的，对应D中的行，从0到16为[0,1,2,...,15]，用于in-批量多类分类。

这可以使用target = torch.LongTensor(torch.arange(16))来完成

但是D 中可能有重复的、非唯一的行，所以我希望D 中的相同的唯一行在target 中具有其唯一索引。比如D的row0、row1、row8相同的token_ids或者vector，其他的行都不同，那么target应该是[0,0,2,3,4,5,6,0,8,9,10,11,12,13,14,15]或者[0,0,1,2,3,4,5,0,6,7,8,9,10,11,12,13]，前者还有索引0-15（但是没有 1 和 7)，后者的索引在 0-13 之间。

我该如何实现？

Answer 1

查看简化问题 (i) generate 1D tensor as unique index of rows of an 2D tensor 和 (ii) generate 1D tensor as unique index of rows of an 2D tensor (keeping the order and the original index) 的答案，它们解决了这个问题的问题。