如何从 DJI Professional 3 相机流式传输实时视频？答案

【问题标题】：How to stream live video from DJI Professional 3 camera?如何从 DJI Professional 3 相机流式传输实时视频？
【发布时间】：2017-04-16 00:49:19
【问题描述】：

我必须在我的 C++ 应用程序中从 DJI Phantom 3 摄像头获取实时流视频，以便在 OpenCV 中进行计算机视觉处理。

首先，我尝试在这个回调中通过 UDP 套接字发送 H264 原始数据：

        mReceivedVideoDataCallBack = new CameraReceivedVideoDataCallback() {

        @Override
        public void onResult(byte[] videoBuffer, int size) {
            //Here, I call a method from a class I created, that sends the buffer through UDP
            if (gravar_trigger) controleVideo.enviarFrame(videoBuffer, size);

            if (mCodecManager != null)  mCodecManager.sendDataToDecoder(videoBuffer, size);

        }

    };

上面的沟通效果很好。但是，我无法在我的 C++ 桌面应用程序中解码该 UDP H264 数据。我已经使用 FFmpeg lib 进行了测试，但无法使用我的 UDP 数据分配AVPacket，以便使用avcodec_send_packet 和avcodec_receive_frame 进行解码。我也遇到了AVCodecContext 的问题，因为我的 UDP 通信不是像 RTSP 这样的流，它可以获取有关其来源的信息。因此，我不得不改变解决问题的方式。

然后，我找到了libstreaming，其中可以关联将android摄像机流式传输到Wowza Server，创建类似于RTSP流连接的东西，可以使用OpenCV在我的最终C++应用程序中轻松获取数据videoCapture。但是，libstreaming 使用自己的surfaceView。换句话说，我必须将 libstreaming surfaceView 与 DJI Drone 的 videoSurface 链接起来。我真的是 Android 新手，所以不知道该怎么做。

总而言之，这是正确的方法吗？有人有更好的主意吗？提前致谢

【问题讨论】：

标签： android c++ ffmpeg dji-sdk libstreaming

【解决方案1】：

我打算赌几件事。嗯，主要是一件事。通常需要在发送之前处理创建分段的视频数据包。 h264 的 IDR 对于 udp 流来说太大了。

在端点之间有可靠的 com 链接，您可以添加一种方法，将单个可能较大的数据包输入转换为一个或多个小数据包输出。

可能大于 1000 字节的数据包需要分成几个 h264 NALU 类型 28。小且具有相同时间戳的数据包可以在 STAP-A 类型 24s 中发送。通常，您可以在 stap-a 中找到带内 sps/pps。

一旦你有一个用于 IDR 和大切片的分包器，在接收器上写下你的解包器，然后你应该得到清晰的解码图片。

请参阅 h264 RTP 规范了解如何制作 28 型。

【讨论】：

【解决方案2】：

搞了半天，终于开发出一个可以正确串流大疆无人机摄像头的系统

https://github.com/raullalves/DJI-Drone-Camera-Streaming

【讨论】：