使用光流从跟踪特征计算目标点

Question

我需要准确跟踪眼睛周围的 9 个点。我检测面部和眼睛并计算点（眼睛中心等）。由于这些点不是很好的跟踪特征（它们很快就会被光流丢失），所以我还从面部区域（SURF/goodFeaturesToTrack）中提取特征，并将其与 KLT 一起使用。我的目标是从其他跟踪的点中确定这 9 个兴趣点/使用其他跟踪点从最初的 9 个中恢复丢失的点。我最初的想法是我可以用光流计算位移并将其用于目标点，但是我没有得到好的结果（尝试了位移的平均值，这显然是不正确的）。我的问题是：这样的事情是否可行？如果是，我应该如何将目标点与跟踪的特征联系起来，以便我可以在后续帧中再次获得它们？

Answer 1

在您的跟踪中，您可以在每个像素周围创建一个区域，而不是跟踪单个像素 如果 p1 是您要跟踪的点，则使用周围像素创建一个区域并选择好的特征来跟踪和跟踪所有这些特征点。跟踪后从这些跟踪点计算 p1 的平均运动。如果该区域中某些点丢失，您可以轻松为下一次迭代跟踪构造周围点。

这种类型的丢分概率很低。丢分重建非常容易。