在解释非极大值抑制前先解释一下IoU。如下图所示IoU即表示(A∩B)/(A∪B)，即AB共同的区域面积占AB总共的面积的比例：
在RCNN网络完成到第4步（使用回归器精修候选框）之后，获得2000×20维矩阵表示每个建议框是某个物体类别的得分情况，此时会遇到下图所示情况，同一个车辆目标会被多个建议框包围，这时需要非极大值抑制操作去除得分较低的候选框以减少重叠框。
具体怎么做呢？
① 对2000×20维矩阵中每列按从大到小进行排序（每列每个框在20个类中的得分）；
② 从每列最大的得分建议框开始，分别与该列后面的得分建议框进行IoU计算，若IoU>阈值（两个框重复比例高于阈值，就人为用其中一个框可以代替这两个框），则剔除得分较小的建议框，否则认为图像中存在多个同一类物体；
③ 从每列次大的得分建议框开始，重复步骤②；
④ 重复步骤③直到遍历完该列所有建议框（每列都只留1个或多个，即判别出该类或认为框的不是同一类物体,此时结果应存在多个框，不合并）；
⑤ 遍历完2000×20维矩阵所有列，即所有物体种类都做一遍非极大值抑制（这时标同一物体的所有框都已合成一个回归框，它是有20分类的1列，取评分最高的为此分类结果，便完成回归与分类）；
//⑥ 最后剔除各个类别中剩余建议框得分少于该类别阈值的建议框，得到一该类的结果。（自己认为的不确定）