【问题标题】:Struct of multidimensional arrays in CUDACUDA中多维数组的结构
【发布时间】:2020-09-19 16:41:26
【问题描述】:

我在使用包含 1D、2D 和 3D 数组的大结构的内核中遇到一些问题,例如以下示例:

typedef struct {
    float  data[N];
    int    map_a[N][M];
    int    map_b[N][M];
    int    map_c[B][N][M];
    ...
} my_struct;

当我使用这样的结构时,执行以下操作的内核:my_struct->map_dbx][y] = value 会挂起程序。当然,x 和 y 小于数组大小。但是,使用map_a 中写入的相同结构的其他内核按预期工作。 我的怀疑是多维数组中发生了错误的内存访问。因此,如果有人可以帮助我解决关于 CUDA 结构中多维数组分配的一些疑问,那就太好了:

  1. 正如 CUDA 编程指南中所建议的,函数 cudaMallocPitch() 应该用于分配数组,同时保证当数组大小与扭曲大小不匹配时需要填充。会用cudaMalloc(&my_struct, sizeof(my_struct)); 正确分配这个结构吗?即cudaMallocPitch() 是否在内部用于确保数组填充?

  2. 由于我怀疑第一个问题的答案是否定的,我如何在使用cudaMallocPitch() 时在设备中正确分配多维数组结构?以及如何在该结构的主机和设备之间正确创建cudaMemcpy()?

  3. stackoverflow 中关于二维数组问题的一些答案建议使用数组展平。我已经尝试过了,使用它们没有任何问题。这是在 CUDA 中正确使用多维数组结构的唯一解决方案吗?

另一种解决方案是使用单独的数组而不是结构,但我有大量的数组必须传递给内核。我希望有人有一些建议来解决这个问题。

【问题讨论】:

    标签: arrays multidimensional-array struct cuda


    【解决方案1】:
    1. 按照 CUDA 编程指南中的建议,函数 cudaMallocPitch() 应该用于分配数组,同时保证当数组大小与扭曲大小不匹配时需要填充。

    这不是填充的用途。它主要用于诸如纹理单元缓存行大小之类的硬件限制。一般分配没有必要,您的用例也不需要它。在静态定义的结构中,编译器将确保结构的安全对齐,如果它可以检测到您正在尝试执行违反硬件静态对齐要求的操作,则会发出警告或错误。

    它会被正确地分配给cudaMalloc(&my_struct, sizeof(my_struct));这个结构吗?

    是的

    即cudaMallocPitch() 是否在内部使用以确保数组填充?

    没有。这两件事彼此没有任何关系。 API 对您分配的结构一无所知,只知道它们的大小。所有内部内存布局和对齐方式都由编译器决定。

    1. 由于我怀疑第一个问题的答案是否定的,在使用cudaMallocPitch() 时如何在设备中正确分配多维数组结构?以及如何在该结构的主机和设备之间正确创建cudaMemcpy()?

    你不能。在任何情况下都不会。结构的布局由编译器静态定义。推销的 API 无法帮助您解决任何问题。

    1. stackoverflow 中关于二维数组问题的一些答案建议使用数组展平。我已经尝试过了,使用没有问题 他们。这是正确使用结构的唯一解决方案 CUDA 中的多维数组?

    同样,所有这些都与您的实际问题完全无关。数组展平与用例有关,例如使用指针数组和嵌套向量等定义的多维数组。它与您显示的代码中的任何内容都没有关系。

    【讨论】:

    • 感谢您的回答。那么,在设备内存中分配这样的结构的正确方法是什么?
    • 只需使用cudaMalloc 并将指针按值传递给内核。这听起来真的很像x-y problem。您显然试图解决的问题实际上与您提出的问题无关。
    • 那么我将重新提出我的问题。尽管如此,您的答案似乎不一致:您建议在此评论中使用cudaMalloc,但您对我的第一个问题的回答是该结构未正确分配这样做。
    • 我已经编辑了我的答案,以使其在第一点上不那么模棱两可,如果是的话。很难回答很多子问题,其中包含许多不正确的假设。也不要在回答后编辑您的问题以完全更改它。如果您有不同的问题(看起来确实如此),请提出一个新问题
    猜你喜欢
    • 2010-10-14
    • 2014-04-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-10-14
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多