完成 GeneratorDataset 迭代器时发生错误：已取消：操作已取消答案

【问题标题】：Error occurred when finalizing GeneratorDataset iterator: Cancelled: Operation was cancelled完成 GeneratorDataset 迭代器时发生错误：已取消：操作已取消
【发布时间】：2020-05-16 22:15:30
【问题描述】：

在运行具有使用 tensorflow 2.0 的代码的 kubeflow 管道时。每个时期结束时都会显示以下错误

W tensorflow/core/kernels/data/generator_dataset_op.cc:103] 完成 GeneratorDataset 迭代器时发生错误：已取消：操作已取消

另外，经过一些时期后，它不会显示日志并显示此错误

此步骤处于失败状态，并显示以下消息：节点资源不足：内存。 Container main 使用了 100213872Ki，超过了它的请求 0。Container wait 使用了 25056Ki，超过了它的请求 0。

【问题讨论】：

我也遇到了第一个错误。还没有看到第二个错误。

标签： tensorflow2.0 kubeflow kubeflow-pipelines

【解决方案1】：

将tensorflow 从2.1 升级到2.2 为我解决了这个问题。我不必去tf-nightly 版本。

【讨论】：

将 TensorFlow 2.1 升级到 TensorFlow 2.2，这个问题就消失了。我
@user3284804 - 如果这个答案对您有帮助，请考虑投票。谢谢。
我在 conda env 上运行 tensorflow-gpu，它一直在安装 2.1 版，如果我尝试使用 pip3 install --upgrade tensorflow-gpu 升级它，我就不能再使用它了知道如何在环境中升级 tensorflow-gpu 版本
@Dhouibiiheb 不能再使用是什么意思？
@Safwan 意味着当我尝试以下操作时： pip install --upgrade tensorflow==2.2 / 2.3 tensorflow 将不再工作。据我所知，conda env 目前支持 tf 2.1 ，但不确定

【解决方案2】：

就我而言，我不匹配 batch_size 和 steps_per_epoch

例如，

his = Test_model.fit_generator(datagen.flow(trainrancrop_images, trainrancrop_labels, batch_size=batchsize),
                               steps_per_epoch=len(trainrancrop_images)/batchsize,
                               validation_data=(test_images, test_labels),
                               epochs=1,
                               callbacks=[callback])

datagen.flow 中的batch_size 必须对应Test_model.fit_generator 中的steps_per_epoch （其实我在steps_per_epoch上用错了值）

我猜这是错误的一种情况。

因此，我认为当批量大小和步骤（迭代）的对应关系错误时会出现问题

当您通过除法获得步骤时，浮点数可能会成为问题......

检查有关此问题的代码。

祝你好运:)

【讨论】：

【解决方案3】：

这是由于 CUDA 和 Tensorflow 版本不兼容造成的。以下版本相互兼容

tensorflow-gpu==2.0.0

tensorflow-addons==0.6.0

nvidia/cuda:10.0-cudnn7-runtime

【讨论】：

【解决方案4】：

我也有同样的问题。人们声称变暖是多余的，并且已在 tf-nightly 中删除，请参阅here。但是每个 epoch 的内存泄漏仍然存在。

【讨论】：

【解决方案5】：

就我而言：我安装了 tf-nightly。现在它正在工作，虽然我是 tensorflow 的新手。我关注了这个link

你可以试试。

【讨论】：

【解决方案6】：

要解决此问题，您可以在model.fit(...) 中添加workers=1。

【讨论】：

【解决方案7】：

我尝试了以下步骤，它在我的情况下有效

conda install tensorflow=2.0.0
conda install -c conda-forge keras=2.3.0

【讨论】：