Processing 中使用OpenCV4处理摄像头画面（8）

前面《Processing 中使用OpenCV4处理摄像头画面（7）》是通过Java的 PImage 获取数据交给OpenCV处理（并没有实现处理逻辑）。

这篇是直接通过调用OpenCV的 VideoCatrue 实现摄像头数据的获取，然后转换成PImage的数据格式显示。

一、环境

需要下载OpenCV4的类库。

下载地址： https://github.com/teamlet/OpenCV4-for-Processing/tree/master/lib

在当前项目根路径下创建code文件夹，把opencv-400.jar和libopencv_java400.dylib复制到code文件夹中。

二、代码

import org.opencv.core.*;
import org.opencv.videoio.*;
import org.opencv.imgproc.*;
import java.nio.ByteBuffer;

VideoCapture cap;
Mat fm;

void setup() {
  size(640, 480);
  System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
  cap = new VideoCapture();
  cap.set(Videoio.CAP_PROP_FRAME_WIDTH, width);
  cap.set(Videoio.CAP_PROP_FRAME_HEIGHT, height);
  cap.open(Videoio.CAP_ANY);
  fm = new Mat();
  frameRate(30);
}

void draw() {
  background(0);
  Mat tmp = new Mat();
  cap.read(tmp);
  Imgproc.cvtColor(tmp, fm, Imgproc.COLOR_BGR2RGBA);
  PImage img = matToImg(fm);
  image(img, 0, 0);
  tmp.release();
}

PImage matToImg(Mat m) {
  PImage im = createImage(m.cols(), m.rows(), ARGB);
  ByteBuffer b = ByteBuffer.allocate(m.rows()*m.cols()*m.channels());
  m.get(0, 0, b.array());
  b.rewind();
  b.asIntBuffer().get(im.pixels);
  im.updatePixels();
  return im;
}

执行过程方法说明：

setup 方法：

size(640, 480); // 设置窗口宽度和高度。
cap = new VideoCapture(); // 创建OpenCV摄像头对象
cap.set(Videoio.CAP_PROP_FRAME_WIDTH, width); // 设置摄像头宽度
cap.set(Videoio.CAP_PROP_FRAME_HEIGHT, height);// 设置摄像头高度
cap.open(Videoio.CAP_ANY); //打开摄像头
fm = new Mat(); // 创建空的矩阵
frameRate(30); // 设置每秒钟刷新 30 次。

draw方法：

Mat tmp = new Mat(); // 创建一个临时矩阵
cap.read(tmp); // 从摄像头读取一帧数据，保存到tmp 临时矩阵中。
Imgproc.cvtColor(tmp, fm, Imgproc.COLOR_BGR2RGBA); // 读取的数据只有 3个颜色通道BGR，转换为4个通道ARGB
PImage img = matToImg(fm); // 将矩阵数据转成 int [] 一纬数组。
image(img, 0, 0); // 显示图像

matToImg 方法：接收的参数是 Mat m

PImage im = createImage(m.cols(), m.rows(), ARGB); //根据矩阵的行数和列数，创建空白的PImage对象。
ByteBuffer b = ByteBuffer.allocate(m.rows()*m.cols()*m.channels());// 根据矩阵的行数、列数和channel数，创建空的数组。
m.get(0, 0, b.array()); // 把矩阵的图像数据写到数组中。
b.rewind(); // 数组指针移动到数组开始。
b.asIntBuffer().get(im.pixels); // 把数组中的图像数据保存到PImage的 pixels 中。
im.updatePixels(); // PImage更新数据，并返回
return im;

这里在从RGB到ARGB的转换出现了错位的情况。

后果就是这样：

Processing 中使用OpenCV4处理摄像头画面（8）

对比一下之前的图像????

Processing 中使用OpenCV4处理摄像头画面（8）