我正在做一个可以通过图像计算肘关节角度的项目。我正在努力的部分是图像处理。
目前使用 Intel RealSense R200 在 Python 中执行此操作（尽管可以认为我正在使用图像输入）。
我正在尝试检测左图的边缘，这样我就可以得到中心图，旨在提取外轮廓（右图片）：
知道从角度出来的两条管道的边会平行（两条橙色边和两条绿色边平行于相同的颜色）...
...我正在尝试构建与两对颜色等距的 2 个点的轨迹，然后“外推到中间”以计算角度：
我已经到了第二个图像，但不可靠的是，到了第三个图像。我非常愿意接受建议，并非常感谢任何帮助。
【问题讨论】：
标签： python opencv math image-processing angle
我将使用以下方法尝试找到问题中提供的四行。
1.读取图像，并将其转换为灰度
import cv2
import numpy as np
rgb_img = cv2.imread('pipe.jpg')
height, width = gray_img.shape
gray_img = cv2.cvtColor(rgb_img, cv2.COLOR_BGR2GRAY)
2。在图像顶部添加一些白色填充（只是为了有一些额外的背景）
white_padding = np.zeros((50, width, 3))
white_padding[:, :] = [255, 255, 255]
rgb_img = np.row_stack((white_padding, rgb_img))
gray_img = 255 - gray_img
gray_img[gray_img > 100] = 255
gray_img[gray_img <= 100] = 0
black_padding = np.zeros((50, width))
gray_img = np.row_stack((black_padding, gray_img))
4.使用形态闭合来填充图像中的孔 -
kernel = np.ones((30, 30), np.uint8)
closing = cv2.morphologyEx(gray_img, cv2.MORPH_CLOSE, kernel)
edges = cv2.Canny(closing, 100, 200)
6. 现在，我们可以使用 openCV 的HoughLinesP 函数在给定图像中查找线条 -
minLineLength = 500
maxLineGap = 10
lines = cv2.HoughLinesP(edges, 1, np.pi / 180, 50, None, 50, 100)
all_lines = lines[0]
for x1,y1,x2,y2 in lines[0]:
cv2.line(rgb_img,(x1,y1),(x2,y2),(0,0,255),2)
7.现在，我们必须找到最右边的两条水平线和最底部的两条垂直线。对于水平线，我们将使用 (x2, x1) 以降序对线进行排序。此排序列表中的第一行将是最右边的垂直线。跳过这一点，如果我们取接下来的两行，它们将是最右边的水平线。
all_lines_x_sorted = sorted(all_lines, key=lambda k: (-k[2], -k[0]))
for x1,y1,x2,y2 in all_lines_x_sorted[1:3]:
cv2.line(rgb_img,(x1,y1),(x2,y2),(0,0,255),2)
8. 同样，可以使用y1坐标对行进行降序排序，排序列表中的前两行将是最底部的垂直行。
all_lines_y_sorted = sorted(all_lines, key=lambda k: (-k[1]))
for x1,y1,x2,y2 in all_lines_y_sorted[:2]:
cv2.line(rgb_img,(x1,y1),(x2,y2),(0,0,255),2)
final_lines = all_lines_x_sorted[1:3] + all_lines_y_sorted[:2]
因此，获得这 4 行代码可以帮助您完成剩下的任务。
【讨论】：
<img src="https://i.stack.imgur.com/GmHqQ.png" width="200" height="150">
这已经有很多很好的答案，但没有一个被接受。我尝试了一些不同的东西，所以即使问题很旧也想发布它。至少其他人可能会发现这很有用。仅当示例图像中具有良好的均匀背景时，此方法才有效。
这会给你一个粗略的估计。
对于示例图片，代码给出
90.868604
42.180990
46.950407
代码在c++。如果您觉得这很有用，您可以轻松移植它。
// helper function:
// finds a cosine of angle between vectors
// from pt0->pt1 and from pt0->pt2
static double angle( Point2f pt1, Point2f pt2, Point2f pt0 )
{
double dx1 = pt1.x - pt0.x;
double dy1 = pt1.y - pt0.y;
double dx2 = pt2.x - pt0.x;
double dy2 = pt2.y - pt0.y;
return (dx1*dx2 + dy1*dy2)/sqrt((dx1*dx1 + dy1*dy1)*(dx2*dx2 + dy2*dy2) + 1e-10);
}
int _tmain(int argc, _TCHAR* argv[])
{
Mat rgb = imread("GmHqQ.jpg");
Mat im;
cvtColor(rgb, im, CV_BGR2GRAY);
Ptr<FeatureDetector> detector = FastFeatureDetector::create();
vector<KeyPoint> keypoints;
detector->detect(im, keypoints);
drawKeypoints(im, keypoints, rgb, Scalar(0, 0, 255));
vector<Point2f> points;
for (KeyPoint& kp: keypoints)
{
points.push_back(kp.pt);
}
vector<Point2f> triangle(3);
minEnclosingTriangle(points, triangle);
for (size_t i = 0; i < triangle.size(); i++)
{
line(rgb, triangle[i], triangle[(i + 1) % triangle.size()], Scalar(255, 0, 0), 2);
printf("%f\n", acosf( angle(triangle[i],
triangle[(i + 1) % triangle.size()],
triangle[(i + 2) % triangle.size()]) ) * 180 / CV_PI);
}
return 0;
}
【讨论】：
如您所见，二值图像中的线条不是那么直，相似的线条也很多。所以直接在这样的图片上做HoughLine是a bad choice，不是责任。
我尝试对图像进行二值化，删除左上角区域(3*w/4, h*2/3)，然后得到两个单独的区域：
img = cv2.imread("img04.jpg", 0)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
th, threshed = cv2.threshold(gray, 100, 255, cv2.THRESH_BINARY_INV|cv2.THRESH_OTSU)
H,W = img.shape[:2]
threshed[:H*2//3,:W*3//4] = 0
cv2.imwrite("regions.png", threshed)
然后您可以根据需要执行其他发布步骤。
【讨论】：
似乎第二张图片的Hough transform 应该给出两个强垂直（在 Theta-Rho 空间中）簇，它们对应于平行线束。这样您就可以确定主要方向。
这是我使用第二张图片和OpenCV 函数HoughLines 快速测试的结果
然后我计算了0..180 范围内所有方向（四舍五入到整数度）的行数，并用count>1 打印了结果。我们显然可以在 86-87 度和 175-176 度看到更大的计数（注意几乎有 90 度的差异）
line
angle : count
84: 3
85: 3
86: 8
87: 12
88: 3
102: 3
135: 3
140: 2
141: 2
165: 2
171: 4
172: 2
173: 2
175: 7
176: 17
177: 3
注意：我使用了HoughLines 函数用法的任意 Delphi 示例并添加了方向计数。您可以获取this Python example 并为 theta 值构建直方图
【讨论】：
遗憾的是，您的方法不起作用，因为如果相机完全垂直于关节平面，您通过此方法计算的角度只是实际角度。您需要在图像中使用参考方块，以便能够计算相机的握持角度，从而能够校正相机角度。并且参考方块必须放置在与管接头相同的平面上。
【讨论】：