Keras sequence classification in python

Refresh

December 2018

Views

572 time

2

I am trying to perform sequence classification using keras in python 3. I am trying to classify sequences of words. In my data, I used word_2_vec to transform the words to a array of shape 300. My training data is as follows

X --> List of list of word vectors (all list of word vectors are 50 word vectors in length)
Y --> List of correct classes that are one hot encoded (like this: [[0, 0, 1], [1, 0, 0], [1, 0, 0]...])

When I try to initialize the model and fit my data to it, I keep getting errors. I am new to deep learning using keras. What should the layers of my model be. Also one particular error I am getting is that my input_shape is incorrect. What is my input_shape in this case?

Code:

    training_data = []
    with open(INTENT_RECOGNITION_TRAINING, 'r') as json_file:
        json_obj = json.load(json_file)
        for data in json_obj['data']:
            for query in data['queries']:
                words = [START_TOKEN] + word_tokenize(query[0]) + [END_TOKEN]
                if len(words) > JText.MAX_QUERY_LENGTH:
                    JText.MAX_QUERY_LENGTH = len(words)
                training_data.append((words, data['intent']))
    training_data = [(JText._pad_sequence(ws, JText.MAX_QUERY_LENGTH), intent) for (ws, intent) in training_data]
    for i in range(len(training_data)):
        if training_data[i][1] not in JText.INTENTS:
            JText.INTENTS.append(training_data[i][1])
        query_vector = []
        for w in training_data[i][0]:
            if w in JText.WORD2VEC.vocab:
                query_vector.append(JText.WORD2VEC[w])
            else:
                query_vector.append(np.zeros(300))
        training_data[i] = (query_vector, training_data[i][1])
    random.shuffle(training_data)
    X_train = [tup[0] for tup in training_data]
    y_train = [tup[1] for tup in training_data]
    y_labelencoder = LabelEncoder()
    y_train = y_labelencoder.fit_transform(y_train).reshape(-1, 1)
    y_onehotencoder = OneHotEncoder(categorical_features=[0])
    y_train = y_onehotencoder.fit_transform(y_train).toarray()
    recognizer = Sequential([
        LSTM(100, input_shape=(JText.MAX_QUERY_LENGTH, 300)),
        Dense(len(JText.INTENTS), activation='sigmoid')
    ])
    recognizer.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
    recognizer.fit(X_train, y_train, nb_epoch=100, batch_size=10)

Getting this error:

Exception: Error when checking model input: expected lstm_input_1 to have 3 dimensions, but got array with shape (21, 1)

1 answers

0

Без keras кода модели или сообщение об ошибке, очень трудно обеспечить точный ответ. Я постараюсь помочь сформулирует общее решение в соответствии с имеющейся информацией.

  1. Я предполагаю, что вы используете LSTM в Keras сделать классификацию последовательности. Если это так, то ваш вход должен быть 3D ndarray размеров (batch_size, Time_steps, length_each_word_vector). Так что в вашем случае ввода является ndarray формы (no_of_sequences_to_train, 50300), считая, что есть 50 слов в каждой последовательности.
  2. О том, какие слои следует использовать, так как у аргумента при условии, кажется, есть только три классификации классов. Если это так, вы можете рассмотреть вопрос о добавлении плотного слоя с output_dim = 3 (то есть первый аргумент 3)

Этот блог является хорошим примером классификации последовательности, должны предоставить некоторые интуитивные идеи новичка.

Надеюсь это поможет

UPDATE Я пытаюсь сделать что - то подобное и столкнулся с той же проблемой. Сформировать код, кажется , что вы передаете список ndarrays в форме (seq_len, 300). Keras ожидает 3D Numpy массив не список Numpy массива.

Это, как я бы перенастроить мои подготовки данных

X_train = np.zeros((len(training_data,MAX_QUERY_LENGTH,300))
for i in range(len(training_data)):
     tup = training_data[i]
     X_train[i,:,:]=tup[0]

Приведенный выше код не оптимизирован, но она лучше всего передает изменения, необходимые для того, чтобы получить LSTM слой принимает ввод

Надеюсь это поможет