颜色信息通常通过转换为直接处理“颜色”的 HSV 颜色空间来处理,而不是将颜色划分为 R/G/B 分量,从而更容易处理具有不同亮度等的相同颜色。
如果您将图像转换为 HSV,您会得到:
cv::Mat hsv;
cv::cvtColor(input,hsv,CV_BGR2HSV);
std::vector<cv::Mat> channels;
cv::split(hsv, channels);
cv::Mat H = channels[0];
cv::Mat S = channels[1];
cv::Mat V = channels[2];
色调通道:
饱和通道:
价值渠道:
通常,如果您对分割“颜色”(例如所有红色对象)感兴趣,首先要查看色调通道。一个问题是,色调是一个圆形/角度值,这意味着最高值与最低值非常相似,这会导致肉饼边缘出现明亮的伪影。为了克服特定值的这种情况,您可以移动整个色调空间。如果移动 50°,你会得到这样的结果:
cv::Mat shiftedH = H.clone();
int shift = 25; // in openCV hue values go from 0 to 180 (so have to be doubled to get to 0 .. 360) because of byte range from 0 to 255
for(int j=0; j<shiftedH.rows; ++j)
for(int i=0; i<shiftedH.cols; ++i)
{
shiftedH.at<unsigned char>(j,i) = (shiftedH.at<unsigned char>(j,i) + shift)%180;
}
现在您可以使用简单的 canny 边缘检测来查找色调通道中的边缘:
cv::Mat cannyH;
cv::Canny(shiftedH, cannyH, 100, 50);
您可以看到这些区域比真正的肉饼要大一些,这可能是因为肉饼周围的地面上有微小的反射,但我不确定这一点。也许这只是因为 jpeg 压缩伪影;)
如果你改为使用饱和通道来提取边缘,你最终会得到这样的结果:
cv::Mat cannyS;
cv::Canny(S, cannyS, 200, 100);
轮廓没有完全闭合的地方。也许您可以在预处理中结合色调和饱和度来提取色调通道中的边缘,但仅限于饱和度足够高的地方。
在这个阶段你有优势。考虑到边缘还不是轮廓。如果您直接从边缘提取轮廓,它们可能不会被关闭/分离等:
// extract contours of the canny image:
std::vector<std::vector<cv::Point> > contoursH;
std::vector<cv::Vec4i> hierarchyH;
cv::findContours(cannyH,contoursH, hierarchyH, CV_RETR_TREE , CV_CHAIN_APPROX_SIMPLE);
// draw the contours to a copy of the input image:
cv::Mat outputH = input.clone();
for( int i = 0; i< contoursH.size(); i++ )
{
cv::drawContours( outputH, contoursH, i, cv::Scalar(0,0,255), 2, 8, hierarchyH, 0);
}
您可以在绘制之前通过检查cv::contourArea(contoursH[i]) > someThreshold 来移除这些小轮廓。但是你看到左边的两个馅饼是连接的吗?最难的部分来了……使用一些启发式方法来“改进”你的结果。
cv::dilate(cannyH, cannyH, cv::Mat());
cv::dilate(cannyH, cannyH, cv::Mat());
cv::dilate(cannyH, cannyH, cv::Mat());
Dilation before contour extraction will "close" the gaps between different objects but increase the object size too.
如果您从中提取轮廓,它将如下所示:
如果您只选择“内部”轮廓,那正是您喜欢的:
cv::Mat outputH = input.clone();
for( int i = 0; i< contoursH.size(); i++ )
{
if(cv::contourArea(contoursH[i]) < 20) continue; // ignore contours that are too small to be a patty
if(hierarchyH[i][3] < 0) continue; // ignore "outer" contours
cv::drawContours( outputH, contoursH, i, cv::Scalar(0,0,255), 2, 8, hierarchyH, 0);
}
注意扩张和内轮廓的东西有点模糊,所以它可能不适用于不同的图像,如果初始边缘更好地放置在对象边界周围,它可能 1. 不需要进行扩张和内轮廓事情和 2. 如果仍然需要,在这种情况下,扩张会使对象变小(幸运的是,这对于给定的示例图像非常有用。
编辑:关于 HSV 的一些重要信息:色调通道将为每个像素提供光谱的颜色,即使饱和度非常低(=灰色/白色)或者颜色非常低(值),所以经常需要对饱和度和值通道进行阈值化以找到一些特定的颜色!这可能比我在代码中使用的膨胀更容易处理,也更容易处理。