【问题标题】:Creating a Text Classifier with Other data features in Tensorflow 2.0/Keras在 TensorFlow 2.0/Keras 中创建具有其他数据特征的文本分类器
【发布时间】:2020-04-20 07:38:31
【问题描述】:

主要问题:如何创建可以对文本数据和数字特征进行分类的神经网络?

听起来很简单,但我一定没有正确理解。

背景

我正在尝试(第一次)使用 TensorFlow 2/Keras 构建一个文本分类器,以查看应用商店评论并将其分类为以下类别:happy, pricingIssue, techIssue, productIssue, miscIssue

我有一个数据集,其中包含:star_rating, review_text 和相关标签。

问题

我对来自TensorFlow的this tutorial的理解是,我需要使用tensorflow hub层将句子嵌入为固定形状的输出。

embedding = "https://tfhub.dev/google/tf2-preview/gnews-swivel-20dim/1"

hub_layer = hub.KerasLayer(embedding, input_shape=[], dtype=tf.string, trainable=True)

然后我会使用它作为我的输入层来构建模型。

model = tf.keras.Sequential()
model.add(hub_layer)
model.add(tf.keras.layers.Dense(16, activation='relu'))
model.add(tf.keras.layers.Dense(1, activation='sigmoid'))

所以我的问题是,我在哪里将数值评分插入到模型的数据中?

可能的解决方案?

使用两个输入层并以某种方式合并它们?我想我想使用中心层来嵌入数据,另一个输入层用于数字数据,然后将它们都通过管道传输到下一层?

我是否先嵌入字符串,然后将评分附加到该字符串?我还可以看到创建一个函数将数据预处理到数组中,并将评分附加到嵌入字符串的末尾, 并将整个事物用作输入对象。

我很难过,任何指导都是有帮助的!

【问题讨论】:

    标签: python tensorflow machine-learning keras nlp


    【解决方案1】:

    将非文本数据添加到文本模型还有另一种选择:将数据变为文本。您执行此操作的确切方式取决于您使用的分词器,以及您的模型如何处理它以前从未见过的词(OOV 词)。但是,类似于您可能会看到像 __EOS__ 这样的特殊标记来告诉模型一个句子结束而下一个句子开始,您可以在评论字符串前面添加一个文本版本的评级:review_string = “_5_stars_ “ + review_string。

    这听起来像是一种无法运行的 hack,但我已经与 AWS 的某个人交谈过,在生产中使用它来将元数据传递给文本模型。

    【讨论】:

      【解决方案2】:

      在咨询专家后,上述两种解决方案都可以工作,但有不同的取舍:

      • 使用两个输入层:您可以这样做,但不能使用顺序模型,因为它不再是顺序的。这是一个更传统的图表

      • 先附加字符串:因为嵌入层是预训练的,所以不需要在模型内部发生,可以嵌入文本,然后与数值评分一起添加到张量中。

      由于我对 Tensorflow 2 和 Keras 最熟悉,所以我选择了第 2 种选择,这样我可以继续使用顺序模型。

      【讨论】:

        猜你喜欢
        • 2020-09-17
        • 2017-08-15
        • 2019-08-25
        • 1970-01-01
        • 1970-01-01
        • 2017-02-22
        • 2017-08-17
        • 2020-09-21
        • 2018-03-31
        相关资源
        最近更新 更多