【问题标题】:Multi-line text dataset in TensorflowTensorFlow 中的多行文本数据集
【发布时间】:2017-11-18 14:31:58
【问题描述】:

tf.data.* 有数据集类。有一个 TextLineDataset,但我需要一个用于多行文本(在开始/结束标记之间)。有没有办法为 tf.data.TextLineDataset 使用不同的换行符?

我是一位经验丰富的开发人员,但也是一名 Python 新手。我可以阅读,但我的写作有限。我正在将现有的 Tensorflow NMT 教程转换为我自己的数据集。大多数 TFRecord 教程都涉及 jpg 或其他结构化数据。

【问题讨论】:

标签: python tensorflow tensorflow-datasets


【解决方案1】:

您可以尝试两种选择:

  1. 编写一个生成器,然后使用Dataset.from_generator:在生成器中,您可以逐行读取文件,在执行此操作时附加到您的示例,然后在遇到自定义分隔符时退出。

  2. 首先解析你的文件,用多行创建tf.train.SequenceExample,然后将你的数据集存储为TFRecordDataset(我认为更麻烦的选项)

【讨论】:

    猜你喜欢
    • 2019-12-07
    • 1970-01-01
    • 2021-05-28
    • 2018-08-17
    • 2019-08-09
    • 1970-01-01
    • 2022-01-18
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多