cuda 与 cupy 和 tensorRT 的流同步问题

Question

我正在使用 TensorRT 和 cupy。如果我设置了cp.cuda.Stream(non_blocking=True)，以下代码也不会等待执行 cuda 调用，而它与non_blocking=False 完美配合。 为什么它不能与non_blocking=True 一起使用？我检查了输入数据，没问题。但代码最终以我的模型返回随机检测（随机数据），这意味着存在一些同步问题。

        # Select stream
        stream.use()
        # Copy cupy array to the buffer
        input_images = cp.array(batch_input_image)
        cp.copyto(cuda_inputs[0], input_images)
        # Run inference.
        context.execute_async(bindings=bindings, stream_handle=stream.ptr, batch_size=len(batch_input_image))
        # Copy results from the buffer
        output_images = cuda_outputs[0].copy()
        # Split results into batch
        list_output = cp.split(output_images, indices_or_sections=len(batch_input_image), axis=0)
        # Squeeze output arrays to remove axis of length one
        list_output = [cp.squeeze(array) for array in list_output]
        # Synchronize the stream
        stream.synchronize()

Answer 1

在获得 Nvidia 的一些支持后，我可以确认这不是 cupy 问题。 TensorRT 模型的 C++ 代码似乎有问题，如下所述：github.com/cupy/cupy/issues/6104。