合并 TFRecord 数据集

【问题标题】：Merging TFRecord Datasets合并 TFRecord 数据集
【发布时间】：2021-06-14 10:37:08
【问题描述】：

我有 2 个TFRecordDatasets。一个有图像和相应的嵌入。另一个具有相应的嵌入和图像特征。我想制作一个现在包含图像、嵌入和特征的数据集。

d1(image,embeddings),d2(embeddings,features) ----> D(image,embeddings, features)

【问题讨论】：

标签： tensorflow tfrecord

【解决方案1】：

可以使用zip 函数组合TfRecordDataset。查找以下示例工作示例。

import tensorflow as tf
images = tf.data.Dataset.range(1, 4)  
embeddings = tf.data.Dataset.range(4, 7)  
features = tf.data.Dataset.range(7, 9)
ds = tf.data.Dataset.zip((a, b, d))
for element in ds.as_numpy_iterator():
  print(element)

输出

(1, 4, 7)
(2, 5, 8)

【讨论】：

这是你假设图片、嵌入和特征的顺序是相同的 - 每个都有一个公共键怎么样 - 例如 object_id ？如何根据该键合并？谢谢