使用 Tensorflow 进行 IPA（国际音标）转录

Question

我正在研究设计一个软件平台，以帮助语言学家和人类学家研究以前未研究过的语言。统计数据显示，大约有 1,000 种语言从未被各自的演讲者群体之外的人研究过。

我的目标是利用 TensorFlow 打造一个平台，让语言学家能够更有效地研究和记录这些语言，并帮助他们为那些还没有书面系统的人创建书面系统。他们目前完成此类任务的方法之一是三方面的：1）录制母语人士用该语言交谈，2）听录音并尝试将其转录成国际音标，3）从语音分析音位和语音的语言最终为说话者创建一个书面系统。

我提议的平台会将研究时间从最少一年缩短到最多六个月。在开始之前，我有一些问题......

训练 TensorFlow 将实时音频转录到 IPA 需要什么？这已经完成了吗？如果是这样，我将如何为该项目使用以前的解决方案？这样的项目甚至可以使用 TensorFlow 实现吗？如果没有，你会推荐使用什么来代替？

对于这个问题的重要性，我深表歉意。我在机器学习领域没有太多经验，因为我才刚刚开始这个项目的研究过程。任何帮助表示赞赏！

Answer 1

我想我会先回答这个问题。由于这个问题很笼统，所以我的回答也必须很笼统。

1. 需要什么。至少，您必须拥有大量预转录数据的数据集。理想情况下，大量口语音频映射到语音字母表中的字符，因此系统可以学习单个字符的声音，而不是整个转录的单词。如果不存在这样的数据集，则可以使用粒度较小的数据集，将单个单词映射到它们的转录。然后你需要一个模型，即用代码实现的实际神经网络架构。最后，您将需要一些计算资源。这不是你可以随便训练的东西，你要么必须花一些时间在基于云的机器学习框架（如 Google Cloud ML）中，要么构建一个相当昂贵的机器来在家训练。

2. 这已经完成了吗？我不知道。我不这么认为。已经发表的论文报告了在训练系统转录语音方面取得了不同程度的成功。这是一个，例如，http://deeplearning.stanford.edu/lexfree/lexfree.pdf 似乎由于您要转录的字母表是专门为捕捉单词的发音方式而设计的，而不是仅仅写下单词，因此您在训练这样的模型时可能会更成功。

3. TensorFlow 可以吗？是的，很有可能。 TensorFlow 非常适合实现大多数现代深度学习架构。除非您最终为此设计了一些非常奇怪且非常原始的模型，否则 TensorFlow 应该可以正常工作。

编辑：在第 1 部分中经过一番思考后，您将不得不使用将口语单词映射到其转录的数据集，因为我希望单独发音的相同声音与相同声音时不同用在一个词里。

Answer 2

这实际上是由 CMU 的一个小组在 PyTorch 中完成的：https://github.com/xinjli/allosaurus