Java 与 C++ 中 OpenCV 的实时性能

Question

我知道这里有许多类似的问题，但我相信我的情况非常独特，足以保证自己发帖。

我正在研究某种“视觉指挥”——我已经构建了一个程序，可以跟踪一个人的手势并根据这些手势推断节奏（以每分钟节拍为单位）。我现在想做的是将测量到的速度映射到一个 MIDI 文件，该文件在人指挥时播放。基本上，我希望该程序允许某人进行合成乐曲，其中正在播放的文件的速度会受到指挥家手势的实时影响。我已经使用 OpenCV 库在 C++ 中编写了这个。

这就是事情变得有趣/令人毛骨悚然的地方。直接修改 MIDI 文件的速度看起来是一项艰巨的任务，鉴于今年夏天剩下的时间有限，我决定去别处看看。我碰巧在 Java API 中找到了 Sequencer 接口，它有一个可爱的方法，叫做setTempoinBPM。它完全符合我的需要；我只是无法让它在我的 C++ 代码中工作。

我尝试创建自己的 JVM 以在 C++ 代码中调用 Java 方法，但无济于事。我还尝试通过将适当的命令行参数传递给 system() 来调用 Java 程序，但是在使用这种方法开始播放后，我无法更改 MIDI 文件的速度。

我正在考虑将我的 C++ 代码转换为 Java 代码以便直接调用 setTempoinBPM()，但我一直听到关于这是否会影响 OpenCV 性能的相互矛盾的报告。

我想听听您的意见：OpenCV 在 Java 上的性能是否足以与其 C++ 性能相媲美，以至于将我的项目转换为 Java 是否值得付出努力？ （如果你碰巧知道如何轻松改变正在播放的 MIDI 轨道的速度，也请随时分享。）

Answer 1

除了映射到 MIDI 文件，也许您可​​以按照解析/编译方法。

将 MIDI 视为数据的表示形式（序列化的数据）。将数据解析为对您的特定问题有意义的中间表示 (IR)（即调整速度）。试想一下，“我怎样才能最好地构造内存中的数据，以便于控制节奏？”

然后，使用包like this，您可以解析midi文件并提取重要部分。该软件包可能已经有适合您的问题的 IR。看起来它确实有一个序列化方法，可能需要将文件输入回播放器。或者，您可能会找到一个可以将您的 IR 直接传递给的玩家。如果您选择的 IR 已经用于已知播放器（并且仍然适合您的节奏操作），那么您不必考虑在修改后序列化您的 IR。

希望对您有所帮助...

Answer 2

我对 c++ 不是很有经验，但通过 openFrameworks 和 ofxMidi 使用过一些 midi。

它在幕后使用rtMidi。

进行快速搜索，似乎可以直接从 c++ 控制tempo（请参阅bottom of void RtMidiIn :: initialize 方法）。不确定是否有一个干净整洁的 API，因为我没有太多使用 rtMidi，但可能值得检查。