制作将歌曲转换为游戏关卡的 AI 模型？ [关闭]答案

【问题标题】：Making an AI model that converts songs into a game level? [closed]制作将歌曲转换为游戏关卡的 AI 模型？ [关闭]
【发布时间】：2021-08-07 18:40:43
【问题描述】：

我想创建一个 AI 将歌曲转换为 beatsaber 级别（这是一个 VR 游戏）。 beatsaber 关卡可以存储为“块”数组，如下所示：

{
  "time": 1.25,
  "direction": "up",
  "hand": "right",
  "pos_x": 0,
  "pos_y": 1
}

所以 AI 应该将歌曲转换成一个包含很多类似上述块的关卡。到目前为止，我刚刚完成了解决分类问题的 AI。但这个问题具有生成性。有谁知道如何解决这种问题。也许有链接可以引导我走向正确的方向。

我有足够的现有关卡和歌曲的训练数据。所以这没有问题。我只需要知道像这样的 AI 的架构是什么样的以及它应该如何工作。

如果可能的话，我也想用 tensorflow 来做这个。但其他技术也不错。

这是一个链接，可以让您更好地了解游戏。上面的 JSON 示例类似于关卡中的一个块。所以人工智能应该生成这些块的数组，从而生成一个完整的关卡。 https://www.youtube.com/watch?v=7JVXv2ySToU

【问题讨论】：

在编写任何代码之前，您需要更好地定义您的问题。您需要定义什么是“好”/令人愉快的关卡，以便您可以为此进行优化。您需要定义一个关卡与音乐完美契合的含义，以便您可以对此进行优化。你可能需要想出一个非常适合计算拟合优度的音乐表示。然后你就可以开始思考“AI”了。
我已经知道是什么让关卡“好”和令人愉快，并且我已经知道如何为此进行优化。我的问题更多是关于如何编写一个“理解”音乐并“生成”适合音乐的数据的 AI。
这个问题太宽泛了，不能在这里讨论。决定什么是“理解”音乐是你最终需要做的事情。同样，根据这种理解决定要调整生成算法的哪些旋钮。同样再次构建该算法。
我在这里找到了我需要的东西：arxiv.org/pdf/1703.06891.pdf
太棒了！我很高兴你找到了你需要的东西。考虑关闭问题。

【解决方案1】：

这是一篇关于非常相似的 AI 的论文： https://arxiv.org/pdf/1703.06891.pdf

他们使用两个神经网络，第一个提取诸如鼓之类的音频特征并决定何时放置块（块的时序），另一个决定块如何排列（块的方向）。

【讨论】：