如何合并 tf.data.Dataset 的元素？答案

【问题标题】：How to merge elements of of a tf.data.Dataset?如何合并 tf.data.Dataset 的元素？
【发布时间】：2023-03-24 10:05:01
【问题描述】：

快速免责声明：这不是关于tf.data.Dataset.concat()、tf.data.Dataset.zip() 或tf.data.Dataset.interleave() 的菜鸟问题。这是关于合并单个数据集的行，而不是合并两个单独的数据集。

我想在 TensorFlow 中构建一个命名实体识别 (NER) 模型。我为这项任务找到了This Dataset。但是每个单词都在数据集的单独一行上，我想将一个句子中的所有单词组合成自己的行（更像是[Sentence 1, Sentence 2, ...] 而不是[Sentence 1, Sentence 1, Sentence 1, ...]）我不知道我是否'应该那样做NER，但我不知道如何合并数据集的行。我确实尝试过，但正如您在this gist 中看到的那样，它给了我一个奇怪的错误。 如何合并行？

【问题讨论】：

标签： python tensorflow named-entity-recognition tf.data.dataset

【解决方案1】：

是的，对于 Named Entity Recognition (NER) 数据集看起来与 This Dataset 中的完全相同。在dataset 中，每个单词都标注了人物、位置、组织、时间等。
对于 NER，可以按原样使用上述数据集，而无需对行或列进行任何修改。如果您仍想合并/连接这些行，请告诉我们我们将帮助您解决。谢谢

【讨论】：

我以某种方式设法在不合并行的情况下做到了这一点（不知道如何）。但是，如果有一种方法可以合并 tf.data.Dataset 的行，这对其他人会很有用。