Frame类的成员变量主要包含从摄像头获取的图像的
1. 特征点信息(关键点+描述字)
2. 尺寸不变特征所用金字塔信息,这些都定义在ORBextractor对象中
3. 词袋模型参数,用于跟踪失败情况下重定位
4. 相机参数,深度阈值
5. 当前帧的id,时间戳,相对世界坐标系位姿,参考关键帧,特征点对应地图点及其是否是外点
6. 特征点网格分配情况,以及当前帧相对世界坐标的位姿(包括位姿矩阵的更新,以及相机光心坐标)。
每获取一帧图像,mnId++,因此30fps的相机,一秒构建30个Frame对象。
双目,RGB-D和单目对应重载的构造函数。
双目构建的Frame对象:
提取特征加入双线程同步提取,0,1代表左目和右目,两张图片提取的特征点会放在不同的vector中,对于单目和RGB-D来说,右目不使用。
thread threadLeft(&Frame::ExtractORB,this,0,imLeft); thread threadRight(&Frame::ExtractORB,this,1,imRight); threadLeft.join(); threadRight.join();
向量mvKeys中存放N个提取出的左图关键点,mDescriptor中存放提取出的左图描述子,右图的放在mvKeysRight和mDescriptorsRight中;
然后进行畸变矫正(由OpenCV完成),然后进行双目匹配(记录左图中特征点对应的右图坐标,以及恢复出的深度);
初始化地图点及其外点;
mvpMapPoints = vector<MapPoint*>(N,static_cast<MapPoint*>(NULL));
mvbOutlier = vector<bool>(N,false);
最后将关键点分布到64*48分割而成的网格中(目的是加速匹配以及均匀化关键点分布)。
RGBD构建的Frame对象:
和双目类似,但是不需要双目匹配,只需恢复出右图中深度>0的横坐标和深度即可。
单目构建的Frame对象:
和双目类似,但是不包含匹配信息:
mvuRight = vector<float>(N,-1); mvDepth = vector<float>(N,-1);
Frame类还提供了一些与自己关联紧密的函数,用于其他模块:
1. 设置当前帧的姿态,并更新当前帧相机在世界坐标系下的位姿,中心点位置;
2. 判断一个MapPoint是否在视角范围内:
bool Frame::isInFrustum(MapPoint *pMP, float viewingCosLimit) { // 注意这里的MapPoint是从SearchLocalPoint传递进来的,具备一定信息量 pMP->mbTrackInView = false; cv::Mat P = pMP->GetWorldPos(); const cv::Mat Pc = mRcw*P+mtcw; // 这里的R,t是经过初步的优化后的 const float &PcX = Pc.at<float>(0); const float &PcY = Pc.at<float>(1); const float &PcZ = Pc.at<float>(2); if(PcZ<0.0f) return false; // Project in image and check it is not outside const float invz = 1.0f/PcZ; const float u=fx*PcX*invz+cx; const float v=fy*PcY*invz+cy; if(u<mnMinX || u>mnMaxX) return false; if(v<mnMinY || v>mnMaxY) return false; // Check distance is in the scale invariance region of the MapPoint // 每一个地图点都是对应于若干尺度的金字塔提取出来的,具有一定的有效深度,如果相对当前帧的深度超过此范围,返回False const float maxDistance = pMP->GetMaxDistanceInvariance(); const float minDistance = pMP->GetMinDistanceInvariance(); // 世界坐标系下,相机到3D点P的向量, 向量方向由相机指向3D点P const cv::Mat PO = P-mOw; const float dist = cv::norm(PO); if(dist<minDistance || dist>maxDistance) return false; // Check viewing angle // 每一个地图点都有其平均视角,是从能够观测到地图点的帧位姿中计算出 // 如果当前帧的视角和其平均视角相差太大,返回False cv::Mat Pn = pMP->GetNormal();// |Pn|=1 const float viewCos = PO.dot(Pn)/dist; // = P0.dot(Pn)/(|P0|*|Pn|); |P0|=dist if(viewCos<viewingCosLimit) return false; // Predict scale in the image // 根据深度预测尺度(对应特征点在一层) const int nPredictedLevel = pMP->PredictScale(dist,this); // Data used by the tracking // 标记该点将来要被投影 pMP->mbTrackInView = true; pMP->mTrackProjX = u; pMP->mTrackProjXR = u - mbf*invz; //该3D点投影到双目右侧相机上的横坐标 pMP->mTrackProjY = v; pMP->mnTrackScaleLevel = nPredictedLevel; pMP->mTrackViewCos = viewCos; return true; }