Frame类的成员变量主要包含从摄像头获取的图像的

1. 特征点信息(关键点+描述字)

2. 尺寸不变特征所用金字塔信息,这些都定义在ORBextractor对象中

3. 词袋模型参数,用于跟踪失败情况下重定位

4. 相机参数,深度阈值

5. 当前帧的id,时间戳,相对世界坐标系位姿,参考关键帧,特征点对应地图点及其是否是外点

6. 特征点网格分配情况,以及当前帧相对世界坐标的位姿(包括位姿矩阵的更新,以及相机光心坐标)。

 

每获取一帧图像,mnId++,因此30fps的相机,一秒构建30个Frame对象。

双目,RGB-D和单目对应重载的构造函数。

双目构建的Frame对象:

提取特征加入双线程同步提取,0,1代表左目和右目,两张图片提取的特征点会放在不同的vector中,对于单目和RGB-D来说,右目不使用。

thread threadLeft(&Frame::ExtractORB,this,0,imLeft);
thread threadRight(&Frame::ExtractORB,this,1,imRight);
threadLeft.join();
threadRight.join();

向量mvKeys中存放N个提取出的左图关键点,mDescriptor中存放提取出的左图描述子,右图的放在mvKeysRight和mDescriptorsRight中;

然后进行畸变矫正(由OpenCV完成),然后进行双目匹配(记录左图中特征点对应的右图坐标,以及恢复出的深度);

初始化地图点及其外点;

  mvpMapPoints = vector<MapPoint*>(N,static_cast<MapPoint*>(NULL));
  mvbOutlier = vector<bool>(N,false);

最后将关键点分布到64*48分割而成的网格中(目的是加速匹配以及均匀化关键点分布)。

RGBD构建的Frame对象:

和双目类似,但是不需要双目匹配,只需恢复出右图中深度>0的横坐标和深度即可。

单目构建的Frame对象:

和双目类似,但是不包含匹配信息:

mvuRight = vector<float>(N,-1);
mvDepth = vector<float>(N,-1);

 Frame类还提供了一些与自己关联紧密的函数,用于其他模块:

1. 设置当前帧的姿态,并更新当前帧相机在世界坐标系下的位姿,中心点位置;

2. 判断一个MapPoint是否在视角范围内:

bool Frame::isInFrustum(MapPoint *pMP, float viewingCosLimit)
{  // 注意这里的MapPoint是从SearchLocalPoint传递进来的,具备一定信息量
    pMP->mbTrackInView = false;
    cv::Mat P = pMP->GetWorldPos(); 

    const cv::Mat Pc = mRcw*P+mtcw; // 这里的R,t是经过初步的优化后的
    const float &PcX = Pc.at<float>(0);
    const float &PcY = Pc.at<float>(1);
    const float &PcZ = Pc.at<float>(2);

    if(PcZ<0.0f)
        return false;

    // Project in image and check it is not outside
    const float invz = 1.0f/PcZ;
    const float u=fx*PcX*invz+cx;
    const float v=fy*PcY*invz+cy;

    if(u<mnMinX || u>mnMaxX)
        return false;
    if(v<mnMinY || v>mnMaxY)
        return false;

    // Check distance is in the scale invariance region of the MapPoint
    // 每一个地图点都是对应于若干尺度的金字塔提取出来的,具有一定的有效深度,如果相对当前帧的深度超过此范围,返回False
    const float maxDistance = pMP->GetMaxDistanceInvariance();
    const float minDistance = pMP->GetMinDistanceInvariance();
    // 世界坐标系下,相机到3D点P的向量, 向量方向由相机指向3D点P
    const cv::Mat PO = P-mOw;
    const float dist = cv::norm(PO);

    if(dist<minDistance || dist>maxDistance)
        return false;

    // Check viewing angle
    // 每一个地图点都有其平均视角,是从能够观测到地图点的帧位姿中计算出
    // 如果当前帧的视角和其平均视角相差太大,返回False
    cv::Mat Pn = pMP->GetNormal();// |Pn|=1

    const float viewCos = PO.dot(Pn)/dist; //  = P0.dot(Pn)/(|P0|*|Pn|); |P0|=dist 

    if(viewCos<viewingCosLimit)
        return false;

    // Predict scale in the image
    // 根据深度预测尺度(对应特征点在一层)
    const int nPredictedLevel = pMP->PredictScale(dist,this);

    // Data used by the tracking
    // 标记该点将来要被投影
    pMP->mbTrackInView = true;
    pMP->mTrackProjX = u;
    pMP->mTrackProjXR = u - mbf*invz; //该3D点投影到双目右侧相机上的横坐标
    pMP->mTrackProjY = v;
    pMP->mnTrackScaleLevel = nPredictedLevel;
    pMP->mTrackViewCos = viewCos;

    return true;
}
View Code

相关文章: