与 Python 相比，Pytorch C++ API 无法获得相似的 DL 预测结果

Question

我已经使用 unet 架构训练了一个深度学习模型，以便在 python 和 pytorch 中分割核。我想加载这个预训练模型并用 C++ 进行预测。为此，我获得了跟踪文件（带有 pt 扩展名）。然后，我运行了这段代码：

#include <iostream>

#include <torch/script.h> // One-stop header.

#include <iostream>
#include <memory>

#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>


using namespace cv;


int main(int argc, const char* argv[]) {


    Mat image;
    image = imread("C:/Users/Sercan/PycharmProjects/samplepyTorch/test_2.png", CV_LOAD_IMAGE_COLOR);

    std::shared_ptr<torch::jit::script::Module> module = torch::jit::load("C:/Users/Sercan/PycharmProjects/samplepyTorch/epistroma_unet_best_model_trace.pt");
    module->to(torch::kCUDA);


    std::vector<int64_t> sizes = { 1, 3, image.rows, image.cols };
    torch::TensorOptions options(torch::ScalarType::Byte);
    torch::Tensor tensor_image = torch::from_blob(image.data, torch::IntList(sizes), options);
    tensor_image = tensor_image.toType(torch::kFloat);
    auto result = module->forward({ tensor_image.to(at::kCUDA) }).toTensor();


    result = result.squeeze().cpu();
    result = at::sigmoid(result);

    cv::Mat img_out(image.rows, image.cols, CV_32F, result.data<float>());

    cv::imwrite("img_out.png", img_out);

}

图像输出（第一张图：测试图，第二张图：Python预测结果，第三张图：C++预测结果）：

如您所见，C++ 预测输出与 python 预测输出不同。您能提供解决此问题的解决方案吗？

Answer 1

即使问题很老，它也可能对某些人有用。这个答案基于pytorch 1.5.0 版本（和第一个稳定的C++ 前端版本），这种情况在以前的版本中可能会有所不同（尽管1.4.0+ 可以使用相同的IIRC）。

PyTorch C++ 前端代码

• 如果您只想指定torch::from_blob 中的类型，则无需显式创建torch::TensorOptions 对象。检查 PyTorch 笔记中的Configuring Properties of Tensor，这将进一步清除它。基本上，你可以使用torch::ScalarType::Byte。
• 这种类型相当于torch::kUInt8，更容易在文档 IMO 中找到
• 无需创建std::vector 对象来保持形状，因为torch::from_blob 具有IntArrayRef 类型的第二个参数，这是ArrayRef<int64_t> 的typedef（请参阅ArrayRef documentation）。反过来，这个类有多个重载的构造函数，其中一个采用std::initializer_list（这正是你的{ 1, 3, image.rows, image.cols }）

考虑到所有这些，您可以像这样在一行中创建tensor_image（添加auto，因为返回的类型很明显，const，因为在同一行）：

const auto tensor_image =
    torch::from_blob(image.data, {1, 3, image.rows, image.cols},
                     torch::kUInt8)
        .toType(torch::kFloat);

实际错误

OpenCV 以BGR（蓝-绿-红）格式加载图像，而 PyTorch 通常使用RGB（比如torchvision 中的Python）。解决方案是排列您的image，以便颜色匹配。

包括上面的改动，整个代码变成：

const auto tensor_image =
    torch::from_blob(image.data, {1, 3, image.rows, image.cols},
                     torch::kUInt8)
        .toType(torch::kFloat)
        .permute(0, 3, 2, 1);

你现在应该对你的预测没问题。也许获得tensor > 0 而不是sigmoid 会是有益的，因为它可能是二进制分类，并且本身不需要此操作。

其他 PyTorch 相关的东西

不再需要使用 at（ATen - 如文档、基础张量和数学运算库中所述）命名空间，因为 torch:: 命名空间重定向到它。

更清晰、更容易混淆的选项是：

• torch::kCUDA 而不是 at::kCUDA
• torch::sigmoid 而不是 at::sigmoid

此外，.data<T> 已被弃用，而支持 .data_ptr<T>

总而言之，您很少需要使用与 torch:: 不同的命名空间，它是子命名空间。

Answer 2

一般情况下，unet 的输出是(batch, classes, height, width)，其中classes 指的是最终掩码中的段类。这意味着每个像素都有一个关联的概率向量，以昏暗1 表示，应该在这个维度上使用softmax 激活它，以便它们总和为1。之后，您可以在同一维度上使用argmax 来获取每个像素的最可能类别。在您的情况下，这只是两个类之一——对象或背景。

如果你有任何机会使用 FastAI 来训练你的模型，你可以看看here。这是一个查找，它根据训练期间使用的损失函数映射应该在最后一层使用的激活函数。 Unet 使用cross_entropy_loss 损失函数。