【发布时间】：2022-01-14 14:56:42
【问题描述】：
我正在使用tensorflow.data和custom layers来解决数据增强的瓶颈，但是我发现单独使用tensorflow.data比混合更快，我不知道custom layers是怎么回事，谁能告诉我？
提前致谢！
这是我的数据增强代码，主要是做标准化和调整大小。
def random_normalization(data, mean, std):
mean = tf.multiply(mean, tf.random.uniform(shape=(), minval=0.5,maxval=0.9, dtype=tf.float64))
std = tf.multiply(std, tf.random.uniform(shape=(), minval=0.5,maxval=0.9, dtype=tf.float64))
return tf.divide((tf.subtract(data, mean)), std)
def random_resize(data):
def resizing(index, data, choice, enable, new_data, number, overlap):
FrontEnd = tf.cond(tf.math.greater_equal(tf.subtract(index, overlap), tf.constant(0)),
lambda: tf.subtract(index, overlap),
lambda: index)
BackEnd = tf.cond(tf.math.less(tf.add(tf.add(index, 10),overlap),tf.constant(2000)),
lambda: tf.add(tf.add(index, 10),overlap),
lambda: index)
z1 = tf.gather(data, indices=[0], axis=1)
z1 = tf.gather(z1, indices=tf.range(FrontEnd, BackEnd), axis=0)
z2 = tf.gather(data, indices=[1], axis=1)
z2 = tf.gather(z2, indices=tf.range(FrontEnd, BackEnd), axis=0)
z3 = tf.gather(data, indices=[2], axis=1)
z3 = tf.gather(z3, indices=tf.range(FrontEnd, BackEnd), axis=0)
z4 = tf.gather(data, indices=[3], axis=1)
z4 = tf.gather(z4, indices=tf.range(FrontEnd, BackEnd), axis=0)
z5 = tf.gather(data, indices=[4], axis=1)
z5 = tf.gather(z5, indices=tf.range(FrontEnd, BackEnd), axis=0)
z6 = tf.gather(data, indices=[5], axis=1)
z6 = tf.gather(z6, indices=tf.range(FrontEnd, BackEnd), axis=0)
new_data = tf.tensor_scatter_nd_update(new_data, [[number, 0], [number, 1], [number, 2],
[number, 3], [number, 4], [number, 5]],
[tf.math.reduce_mean(z1), tf.math.reduce_mean(z2),
tf.math.reduce_mean(z3), tf.math.reduce_mean(z4),
tf.math.reduce_mean(z5), tf.math.reduce_mean(z6)])
return tf.add(index, 10), data, choice, enable, new_data, tf.add(number, 1), overlap
choice = tf.random.uniform(shape=(), minval=0,maxval=4,dtype=tf.int32)
enable = tf.random.uniform(shape=(), minval=0,maxval=1,dtype=tf.float64)
overlap = tf.random.uniform(shape=(), minval=5,maxval=21,dtype=tf.int32)
new_data = tf.zeros((200,6), dtype=tf.float64)
index = tf.constant(0)
number = tf.constant(0)
condition = lambda index, data, choice, enable, new_data, number, overlap: tf.less(index, 2000)
r = tf.while_loop(condition, resizing, loop_vars=(index, data, choice, enable, new_data, number, overlap))
return r[4]
def normal_resize(data):
data = tf.reshape(data, (2000,6,1))
data = tf.image.resize(data, size=[200,6])
return tf.cast(tf.reshape(data, (200,6)),dtype=tf.float64)
def augmentation(data, labels):
mean = tf.math.reduce_mean(data,axis=0)
std = tf.math.reduce_std(data,axis=0)
data = tf.cond(tf.random.uniform(shape=(), minval=0, maxval=1,dtype=tf.float64) < tf.constant(0.8,dtype=tf.float64),
lambda: random_normalization(data, mean, std),
lambda: tf.divide((tf.subtract(data, mean)), std))
# 2000 resize to 200
data = tf.cond(tf.random.uniform(shape=(), minval=0, maxval=1,dtype=tf.float64) < tf.constant(0.8,dtype=tf.float64),
lambda: random_resize(data),
lambda: normal_resize(data))
return data, labels
主要代码，包括tf.data和型号
if __name__ == '__main__':
trainDS = tf.data.Dataset.from_tensor_slices((np.random.rand(3000,2000,6),
np.concatenate((np.zeros((1500)),np.ones((1500))))))
trainDS = (
trainDS
.cache()
.shuffle(1000, reshuffle_each_iteration=False)
.map(augmentation, num_parallel_calls=tf.data.AUTOTUNE)
.batch(128, drop_remainder=True)
.prefetch(tf.data.AUTOTUNE))
input = Input((200,6))
x = LSTM(64, return_sequences=True)(input)
output = Dense(1,activation='sigmoid')(x)
model = Model(input, output)
model.compile(optimizer='adam', loss='BinaryCrossentropy')
model.fit(trainDS, epochs=3)
那么这是我自定义层的代码，虽然有点麻烦，但还是达到了我想要的效果。
import tensorflow as tf
from tensorflow.keras.layers import LSTM, Dense, Input
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Layer
import numpy as np
class CustomLayer(Layer):
def __init__(self, **kwargs):
super().__init__(**kwargs)
def execute(self, data, batch_size, new_data, _type):
def _fun(index, data, _type, new_data):
resized = tf.cond(_type,
lambda:augmentation(tf.reshape(tf.gather(data,[index]), (2000,6))),
lambda:normal_resize(tf.reshape(tf.gather(data,[index]), (2000,6))))
values = tf.reshape(resized, (1,-1))[0]
_Indices = self.createIndices(index)
new_data = tf.tensor_scatter_nd_update(new_data, _Indices, values)
return tf.add(index,1), data, _type, new_data
index = tf.constant(0)
condition = lambda index, data, _type, new_data: tf.less(index, batch_size)
r = tf.while_loop(condition, _fun, loop_vars=(index, data, _type, new_data))
return r[-1]
def createIndices(self, BatchSizeIndex):
def loop1(_i, BatchSizeIndex, col_num, _Indices):
def loop2(_i, _j, BatchSizeIndex, col_num, _Indices):
_Indices = tf.tensor_scatter_nd_update(_Indices, [[col_num, 0], [col_num, 1], [col_num, 2]],
[BatchSizeIndex, _i, _j])
return _i, tf.add(_j,1), BatchSizeIndex, tf.add(col_num,1), _Indices
_j = tf.constant(0)
condition_loop2 = lambda _i, _j, BatchSizeIndex, col_num, _Indices: tf.less(_j, 6)
r_loop2 = tf.while_loop(condition_loop2, loop2, loop_vars=(_i, _j, BatchSizeIndex, col_num, _Indices))
return tf.add(_i,1), BatchSizeIndex, r_loop2[3], r_loop2[4]
_Indices = tf.zeros((1200,3), dtype=tf.int32)
col_num = tf.constant(0)
_i = tf.constant(0)
condition_loop1 = lambda _i, BatchSizeIndex, col_num, _Indices: tf.less(_i, 200)
r_loop1 = tf.while_loop(condition_loop1, loop1, loop_vars=(_i, BatchSizeIndex, col_num, _Indices))
return r_loop1[-1]
def call(self, images, training):
batch_size = tf.shape(images)[0]
new_data = tf.zeros((batch_size, 200, 6), dtype=tf.float64)
images = tf.cast(images, dtype=tf.float64)
if training:
data = self.execute(images, batch_size, new_data, tf.constant(True))
else:
data = self.execute(images, batch_size, new_data, tf.constant(False))
return data
最终的代码可以修改成这样执行。
def augmentation(data):
.....
return data
if __name__ == '__main__':
trainDS = tf.data.Dataset.from_tensor_slices((np.random.rand(3000,2000,6),
np.concatenate((np.zeros((1500)),np.ones((1500))))))
trainDS = (
trainDS
.cache()
.shuffle(1000, reshuffle_each_iteration=False)
.batch(128, drop_remainder=True)
.prefetch(tf.data.AUTOTUNE))
input = Input((2000,6))
x = CustomLayer()(input)
x = LSTM(64, return_sequences=True)(x)
output = Dense(1,activation='sigmoid')(x)
model = Model(input, output)
model.compile(optimizer='adam', loss='BinaryCrossentropy')
model.fit(trainDS, epochs=3)
结果：单独tf.data 花费大约18s，tf.data+CustomLayer 花费大约38s。
我要澄清的是，在tf.data 中使用map 来运行增强是在CPU 上，但如果我在Layer 中编写增强，理论上它应该在@987654339 上运行@。为什么两者差距这么大？
环境：python3.6、tensorflow2.4.0
【问题讨论】：
-
你好@林民祥！我是否理解正确，您的代码在功能方面可以正常工作，但在使用增强功能时执行速度太慢？如果我理解正确，那是正常的行为。您可以做的是优化代码以提高性能。我想到的一件事是您的数据管道。您应该首先应用批处理（）而不是映射（增强）。这样，map 不是在每个样本上调用，而是在每个批次上调用，这意味着执行次数更少，而且它确实利用了矢量化。
-
@SaschaKirch，你是对的，代码有效。我要澄清的是，在
tf.data中使用map来运行增强是在CPU上，但是如果我在Layer中编写增强，理论上它应该在GPU上运行。为什么两者之间的差距如此之大？另外，可能像你说的，我可能需要优化我的代码，我的代码中有很多if else和loop，不知道会不会影响性能。 -
好的，我明白了，谢谢！我猜想问题在于 GPU 和 CPU 的不同优势。 GPU 擅长加速可以并行化的计算，例如代数，而 CPU 擅长一般任务，例如索引、加载等。
标签： python tensorflow keras tensorflow2.0 tensorflow-datasets