TensorFlow Federated 的大型数据集处理

Question

为 Tensorflow 联合模拟准备 ImageNet（或其他大型数据集）的有效方法是什么？特别是在 tf.Dataset 对象上应用自定义地图功能？我查看了教程和文档，但没有发现任何对这个用例有帮助的东西。本教程 (https://www.tensorflow.org/federated/tutorials/custom_federated_algorithms_2) 展示了 MNIST 处理，但该数据集相对较小。

Answer 1

您能否澄清一下在这种情况下您所说的“高效”究竟是什么意思。我想你已经尝试了一些东西，但它没有按预期工作。您能否在这里描述一下您是如何进行设置的，以及您遇到了什么问题。谢谢！

需要注意的是，第一个版本中包含的运行时仅适用于适合内存的数据集。也许这就是您遇到的限制。