python中的Keras序列分类

Question

我正在尝试在 python 3 中使用 keras 执行序列分类。我正在尝试对单词序列进行分类。在我的数据中，我使用 word_2_vec 将单词转换为形状为 300 的数组。我的训练数据如下

X --> 词向量列表列表（所有词向量列表长度为50个词向量）
Y --> 一个热编码的正确类的列表（像这样：[[0, 0, 1], [1, 0, 0], [1, 0, 0]...]）

当我尝试初始化模型并将我的数据拟合到它时，我不断收到错误。我是使用 keras 进行深度学习的新手。我的模型的层应该是什么。我得到的一个特殊错误是我的 input_shape 不正确。在这种情况下我的 input_shape 是什么？

代码：

    training_data = []
    with open(INTENT_RECOGNITION_TRAINING, 'r') as json_file:
        json_obj = json.load(json_file)
        for data in json_obj['data']:
            for query in data['queries']:
                words = [START_TOKEN] + word_tokenize(query[0]) + [END_TOKEN]
                if len(words) > JText.MAX_QUERY_LENGTH:
                    JText.MAX_QUERY_LENGTH = len(words)
                training_data.append((words, data['intent']))
    training_data = [(JText._pad_sequence(ws, JText.MAX_QUERY_LENGTH), intent) for (ws, intent) in training_data]
    for i in range(len(training_data)):
        if training_data[i][1] not in JText.INTENTS:
            JText.INTENTS.append(training_data[i][1])
        query_vector = []
        for w in training_data[i][0]:
            if w in JText.WORD2VEC.vocab:
                query_vector.append(JText.WORD2VEC[w])
            else:
                query_vector.append(np.zeros(300))
        training_data[i] = (query_vector, training_data[i][1])
    random.shuffle(training_data)
    X_train = [tup[0] for tup in training_data]
    y_train = [tup[1] for tup in training_data]
    y_labelencoder = LabelEncoder()
    y_train = y_labelencoder.fit_transform(y_train).reshape(-1, 1)
    y_onehotencoder = OneHotEncoder(categorical_features=[0])
    y_train = y_onehotencoder.fit_transform(y_train).toarray()
    recognizer = Sequential([
        LSTM(100, input_shape=(JText.MAX_QUERY_LENGTH, 300)),
        Dense(len(JText.INTENTS), activation='sigmoid')
    ])
    recognizer.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
    recognizer.fit(X_train, y_train, nb_epoch=100, batch_size=10)

收到此错误：

Exception: Error when checking model input: expected lstm_input_1 to have 3 dimensions, but got array with shape (21, 1)

Answer 1

如果没有 keras 模型代码或错误消息，很难提供准确的答案。 我将尝试根据可用信息说明通用解决方案来提供帮助。

1. 我假设您在 Keras 中使用 LSTM 进行序列分类。如果是这种情况，您的输入应该是维度的 3D ndarray（batch_size、Time_steps、length_each_word_vector）。因此，在您的情况下，假设每个序列中有 50 个单词，输入是一个形状为 (no_of_sequences_to_train,50,300) 的 ndarray。
2. 关于您应该使用哪些层，因为提供的 y 参数似乎只有 3 个分类类别。如果是这种情况，您可以考虑添加 output_dim = 3 的 Dense 层（即第一个参数 3）

这个blog是一个很好的序列分类例子，应该给初学者一些直观的想法。

希望对你有帮助

更新 我正在尝试做类似的事情并且遇到了同样的问题。 形成您的代码，您似乎正在传递形状的 ndarrays 列表（seq_len，300）。 Keras 需要 3D numpy 数组而不是 numpy 数组列表。

这就是我重新配置训练数据的方式

X_train = np.zeros((len(training_data,MAX_QUERY_LENGTH,300))
for i in range(len(training_data)):
     tup = training_data[i]
     X_train[i,:,:]=tup[0]

上面的代码没有经过优化，但它最好地传达了所需的更改，以便让 LSTM 层接受您的输入

希望对你有帮助