如何从原始点云中可视化描述符和关键点？

Question

我正在尝试使用pcl::NarfKeypoint、pcl::NarfDescriptor 为原始点云数据提取 NARF 关键点和描述符。

在可视化过程中，我可以简单地绘制我的关键​​点以及从原始 ponitcloud 生成的范围图像。

然而，问题在于将描述符与关键点一起可视化。 据我了解，Narf 计算关键点的所有索引并使用getVector3fMap()，可以简单地使用pcl::visualization 可视化它们。

当涉及到描述符时，输出将是x、y、z、roll、pitch、yaw，更重要的是descriptors[36]。

有人知道如何在 PCL 中用关键点可视化描述符吗？

我们真的需要利用descriptors[36] 中的这36 个点来解决这个问题吗？

我的示例代码：

  // --------------------------------
  // -----Extract NARF keypoints-----
  // --------------------------------
  clock_t begin = clock();
  pcl::RangeImageBorderExtractor range_image_border_extractor;
  pcl::NarfKeypoint narfKp (&range_image_border_extractor);


  narfKp.setRangeImage (&range_image);
  narfKp.getParameters().support_size = support_size;
  narfKp.getParameters().calculate_sparse_interest_image = true; 
  narfKp.getParameters().use_recursive_scale_reduction = true;

  pcl::PointCloud<int> keyPoIdx;

  narfKp.compute (keyPoIdx);


  cout << "range image = " << range_image << "\n \n";
  cout << "keypoint = "<< keyPoIdx <<"\n";
  cout << "time to compute NARF keyPoints = " << (float)(clock() - begin) / CLOCKS_PER_SEC << " [sec] \n";

  // --------------------------------
  // ----Extract NARF descriptors----
  // --------------------------------
  vector<int> desIdx;
  desIdx.resize(keyPoIdx.points.size());

  for (unsigned int i = 0; i < desIdx.size(); i++)
  {
    desIdx[i] = keyPoIdx.points[i];
  }

  pcl::NarfDescriptor narfDes (&range_image, &desIdx);

  narfDes.getParameters().support_size = support_size;
  narfDes.getParameters().rotation_invariant = true; // cause more descriptors than keypoints

  pcl::PointCloud<pcl::Narf36> outputNarfDes;
  narfDes.compute(outputNarfDes);

  cout << "Extracted "<< outputNarfDes.size() <<" descriptors for " << keyPoIdx.points.size() << " keypoints.\n";


  //------------------------------------------------------------------ //
 //-----------------------Visualization-------------------------------//
// ----------------------------------------------------------------- //

  // ----------------------------------------------
  // -----Show keypoints in range image widget-----
  // ----------------------------------------------
  //for (size_t i=0; i<keyPoIdx.points.size (); ++i)
    //range_image_widget.markPoint (keyPoIdx.points[i]%range_image.width,
                                  //keyPoIdx.points[i]/range_image.width);

  // ---------------------------------------
  // -----Show Descriptors in 3D viewer-----
  // ---------------------------------------
  pcl::PointCloud<pcl::PointXYZ>::Ptr descriptors_ptr (new pcl::PointCloud<pcl::PointXYZ>);
  pcl::PointCloud<pcl::PointXYZ>& desVIZ = *descriptors_ptr;


  desVIZ.points.resize(outputNarfDes.size());

  cout << "descriptor index size = " << desVIZ.points.size() << "\n"; 

    for (size_t i=0; i < desVIZ.points.size(); ++i) 
    //for (size_t i=0; i<desIdx.size(); ++i)
    {
           // ??????????????? MY PROBLEM ???????????????????
            desVIZ.points[i].getVector3fMap () = range_image.points[outputNarfDes.points[i]].getVector3fMap ();
          // ??????????????? MY PROBLEM ???????????????????
    }
  pcl::visualization::PointCloudColorHandlerCustom<pcl::PointXYZ> des_color_handler (descriptors_ptr, 200, 0, 50);
  viewer.addPointCloud<pcl::PointXYZ> (descriptors_ptr, des_color_handler, "descriptors");
  viewer.setPointCloudRenderingProperties (pcl::visualization::PCL_VISUALIZER_POINT_SIZE, 10, "descriptors");

  // -------------------------------------
  // -----Show keypoints in 3D viewer-----
  // -------------------------------------
  pcl::PointCloud<pcl::PointXYZ>::Ptr keypoints_ptr (new pcl::PointCloud<pcl::PointXYZ>);
  pcl::PointCloud<pcl::PointXYZ>& keyPo = *keypoints_ptr;

  keyPo.points.resize(keyPoIdx.points.size());

    for (size_t i=0; i<keyPoIdx.points.size(); ++i)
    {
        keyPo.points[i].getVector3fMap () = range_image.points[keyPoIdx.points[i]].getVector3fMap ();
    }

  pcl::visualization::PointCloudColorHandlerCustom<pcl::PointXYZ> keypoints_color_handler (keypoints_ptr, 0, 200, 0);
  viewer.addPointCloud<pcl::PointXYZ> (keypoints_ptr, keypoints_color_handler, "keypoints");
  viewer.setPointCloudRenderingProperties (pcl::visualization::PCL_VISUALIZER_POINT_SIZE, 5, "keypoints");

  //--------------------
  // -----Main loop-----
  //--------------------
  while (!viewer.wasStopped ())
  {
    range_image_widget.spinOnce ();  // process GUI events
    viewer.spinOnce ();
    pcl_sleep(0.01);
  }

Answer 1

您可以通过将 roll/pitch/yaw 转换为矢量来将其可视化。详情请参阅this answer。这个向量可以用作每个点的法线——这样，对于每个视图，只有共享相同方向的关键点才会有颜色。或者，您可以尝试在关键点的位置绘制箭头。

要可视化描述符，您可以将其投影到三维空间using PCA。比，它可以用来设置你的关键点的颜色。