Tensorflow 2.0 - 大数据集的 tf.estimator.DNNClassifier 训练答案

【问题标题】：Tensorflow 2.0 - tf.estimator.DNNClassifier training for big datasetsTensorflow 2.0 - 大数据集的 tf.estimator.DNNClassifier 训练
【发布时间】：2020-09-23 04:54:21
【问题描述】：

我正在尝试训练 DNNClassifier

    labels = ['BENIGN', 'Syn', 'UDPLag', 'UDP', 'LDAP', 'MSSQL', 'NetBIOS', 'WebDDoS']

    # Build a DNN
    classifier = tf.estimator.DNNClassifier(
    feature_columns=feature_columns,
    hidden_units=[30, 10],
    n_classes=len(labels),
    label_vocabulary=labels)

    def input_fn(features, labels, training=True, batch_size=32):
       '''
       An input function for training or evaluating
       '''
       # Convert the inputs to a Dataset.
       dataset = tf.data.Dataset.from_tensor_slices((dict(features), labels))
       # Shuffle and repeat if you are in training mode.
       if training:
          dataset = dataset.shuffle(1000).repeat()
       return dataset.batch(batch_size)

    # Train the model
    classifier.train(
    input_fn=lambda: input_fn(train_features, train_label, training=True),
    steps=5000)

在使用更大的数据集之前，训练效果很好

train_features.shape
>>> (15891114, 20)
train_label.shape
>>> (15891114,)

我正在使用 Google Colaboratory，一旦培训开始，我的会话就会因超出 RAM 使用量（12GB 的 RAM）而崩溃

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python

/ops/resource_variable_ops.py:1666: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version.
Instructions for updating:
If using Keras pass *_constraint arguments to layers.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python/training/training_util.py:236: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version.
Instructions for updating:
Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts.
INFO:tensorflow:Calling model_fn.
WARNING:tensorflow:Layer dnn is casting an input tensor from dtype float64 to the layer's dtype of float32, which is new behavior in TensorFlow 2.  The layer has dtype float32 because it's dtype defaults to floatx.

If you intended to run this layer in float32, you can safely ignore this warning. If in doubt, this warning is likely only an issue if you are porting a TensorFlow 1.X model to TensorFlow 2.

To change all layers to have dtype float64 by default, call `tf.keras.backend.set_floatx('float64')`. To change just this layer, pass dtype='float64' to the layer constructor. If you are the author of this layer, you can disable autocasting by passing autocast=False to the base Layer constructor.

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/optimizer_v2/adagrad.py:106: calling Constant.__init__ (from tensorflow.python.ops.init_ops) with dtype is deprecated and will be removed in a future version.
Instructions for updating:
Call initializer instance with the dtype argument instead of passing it to the constructor
INFO:tensorflow:Done calling model_fn.
INFO:tensorflow:Create CheckpointSaverHook.

在训练开始之前，只使用了 1GB 的 RAM，但一旦训练开始，RAM 就会迅速饱和。

我通过提供数据框的chunks 来训练/评估模型来使其工作。

不过，当我为Estimator 的训练或评估提供整个数据框时，我仍不清楚为什么 RAM 会饱和。

【问题讨论】：

嗨！你能给我们一个最小的可重现的例子，这样我们就可以复制粘贴代码并自己尝试。如果您可以分享您正在使用的 google colab，那就更好了。
嗨，我已经添加了一个指向笔记本和我正在使用的数据集的链接
超级！如果您有任何机会可以直接在 colab 中添加数据，它也会有所帮助。如果太多，请不要担心。
抱歉，我不明白，除了将数据集上传到您自己的驱动器访问它之外，我不知道任何其他方法......我错了吗？
我不确定，因为您可以看到，如果您在输入函数之外构建数据集并对其进行迭代，则不会出现 RAM 爆炸的问题。

标签： tensorflow google-colaboratory tensorflow2.0 tensorflow-datasets tensorflow-estimator

【解决方案1】：

我复制了您的 Google Colab 并复制了“我的云端硬盘”中的数据文件并训练了估算器，您的代码刚刚工作：:s 。我可以训练 DNN 没问题：

我检查了我使用的是大数据集：

当我重新计算一些 jupyter 笔记本单元格时，我确实收到了 out of RAM 消息，但在我执行“重新启动内核”时从未收到消息，然后是 Run all cells。也许问题出在jupyter上？尝试将代码写入 .py 文件（放置在驱动器中），然后使用 subprocess 从 colab 笔记本运行它，也许可以解决您的问题。

【讨论】：