在 CNN keras/tensorflow2.0 中创建 LOOCV 时预测回溯警告消息答案

【问题标题】：Prediction retracing warning message while creating LOOCV in CNN keras/tensorflow2.0在 CNN keras/tensorflow2.0 中创建 LOOCV 时预测回溯警告消息
【发布时间】：2020-08-11 19:33:30
【问题描述】：

我正在尝试编写自定义 for 循环，以便使用 tensorflow 2.0 和 Keras API 执行 LOOCV。我正在测试一个 CNN 回归，其中每个值由 12 个分子图像表示。

我的数据集包含来自 42 个分子的 504 张图像，如下所示：

    file                value   intrain
0   mol1_scan0.bmp      6.456   True
1   mol1_scan30.bmp     6.456   True
2   mol1_scan60.bmp     6.456   True
3   mol1_scan90.bmp     6.456   True
4   mol1_scan120.bmp    6.456   True
... ... ... ...
499 mol42_scan210.bmp   6.244   True
500 mol42_scan240.bmp   6.244   True
501 mol42_scan270.bmp   6.244   True
502 mol42_scan300.bmp   6.244   True
503 mol42_scan330.bmp   6.244   True

我的目标是创建一个 LOOCV，在循环的每一步中，一次设置 12 个图像作为验证，这 12 个图像必须属于同一个分子。这由“intrain”列控制。

负责创建 LOOCV 和运行 CNN 的循环如下所示：

    for lo in range(mols):
    loo = lo+1
    t0= time.time()
    vald = np.repeat(True,mols)
    vald[loo] = False
    vals = []
    for p in range(mols):
        vals.extend(np.repeat(vald[p],views))
    data = pd.DataFrame({'file':paths,'valor':ys,'train':vals})
    train = data[data.train==True]
    validation = data[data.train==False]
    print(f'##### Executing step {loo} out of {mols} ##### {datetime.now()}')
    datagen = ImageDataGenerator(rescale=1/255.)
    train_generator = datagen.flow_from_dataframe(dataframe=train, directory=original_train,
                                                  color_mode="grayscale",
                                                  x_col='file',
                                                  y_col='valor',
                                                  target_size=(200,220),
                                                  class_mode='raw',
                                                  batch_size=32)
    validation_generator = datagen.flow_from_dataframe(dataframe=validation, directory=original_train,
                                                  color_mode="grayscale",
                                                  x_col='file',
                                                  y_col='valor',
                                                  target_size=(200,220),
                                                  class_mode='raw',
                                                  batch_size=32,
                                                  shuffle = False)
    model = Sequential()
    model.add(Conv2D(32,(3,3),activation='relu',input_shape=(200,220,1)))
    model.add(MaxPool2D((2,2)))
    model.add(Conv2D(64,(3,3),activation='relu'))
    model.add(MaxPool2D((2,2)))
    model.add(Conv2D(128,(3,3),activation='relu'))
    model.add(MaxPool2D((2,2)))
    model.add(Conv2D(128,(3,3),activation='relu'))
    model.add(MaxPool2D((2,2)))
    model.add(Flatten())
    model.add(Dense(220,activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(1))
    model.compile(loss='mse',optimizer = 'Adam')
    train_steps = train_generator.n//train_generator.batch_size
    validation_steps = validation_generator.n//validation_generator.batch_size
    history = model.fit(train_generator,steps_per_epoch=train_steps, epochs=1,verbose=0,
                                  validation_data=validation_generator,validation_steps=validation_steps)
    Y_pred = model.predict(validation_generator, validation_generator.n // (validation_generator.batch_size+1))
    Y_pred = Y_pred.flatten()
    Y_true = validation_generator.labels
    Y_lab = np.repeat(loo,12)
    plotagem = pd.DataFrame({'yobs':Y_true,'ypred':Y_pred,'ylab':Y_lab})
    plotagemFinal = pd.concat([plotagemFinal,plotagem])
    t1 = time.time() - t0
    print(f'##### Finalized step {loo} out of {mols} ##### ({datetime.now()} - {round(t1/60,2)} min)\n')

当我运行它时，我收到一条警告消息，表明已触发回溯...

WARNING:tensorflow:7 次调用触发了 tf.function 回溯。跟踪是昂贵的，过多的跟踪可能是由于（1）在循环中重复创建 @tf.function，（2）传递不同形状的张量，（3）传递 Python 对象而不是张量。对于 (1)，请在循环之外定义您的 @tf.function。对于 (2)，@tf.function 具有 Experimental_relax_shapes=True 选项，可以放宽可以避免不必要的回溯的参数形状。 (3) 详情请参考https://www.tensorflow.org/tutorials/customization/performance#python_or_tensor_args和https://www.tensorflow.org/api_docs/python/tf/function。

我发现问题只是这行引起的：

Y_pred = model.predict(validation_generator, validation_generator.n // (validation_generator.batch_size+1))

我尝试按照警告提供的提示和其他各种解决方案来修复它，主要是尝试将预测设置在循环之外，但它们似乎都没有解决我的问题..

有没有人遇到过这种问题并且可以解决？

我非常感谢任何关于这个警告问题以及整个问题的帮助或提示..

提前致谢！

【问题讨论】：

标签： python tensorflow image-processing keras conv-neural-network

【解决方案1】：

我的代码正在加载模型和正在运行的预测，我收到了类似的警告消息。

WARNING:tensorflow:11 次调用触发了 tf.function 回溯。跟踪是昂贵的，过多的跟踪可能是由于（1）在循环中重复创建 @tf.function，（2）传递不同形状的张量，（3）传递 Python 对象而不是张量。对于 (1)，请在循环之外定义您的 @tf.function。对于 (2)，@tf.function 具有 Experimental_relax_shapes=True 选项，可以放宽可以避免不必要的回溯的参数形状。 (3) 详情请参考https://www.tensorflow.org/tutorials/customization/performance#python_or_tensor_args和https://www.tensorflow.org/api_docs/python/tf/function。

我放了

tf.compat.v1.disable_eager_execution()

在predict之前，加载模型之后。神奇的是，警告信息消失了。这是来自Tensorflow 2.0: custom keras metric caused tf.function retracing warning的提示

我的代码如下所示：

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
import matplotlib.pyplot as plt
import numpy as np 
from tensorflow.keras.preprocessing import image
import time

tstart = time.time()
reconstructed_model = keras.models.load_model("my_model2")

tf.compat.v1.disable_eager_execution()
image = image.load_img("testimages/1404.jpg", target_size = (28, 28))
# image.show()
input_arr = keras.preprocessing.image.img_to_array(image)
input_arr = np.array([input_arr])  # Convert single image to a batch.
result = reconstructed_model.predict(input_arr)

print(result)
print(result[0][0])
print(result[0][1])
# training_set.class_indices
if result[0][1] > 0.9:
    prediction = 'This is a z-pattern'
else:
    prediction = 'This is not a z-pattern'
print(prediction)
print ('display FPS:' , (time.time()-tstart)*1000 , "msec")

【讨论】：