LSTM

O modelo multivariado de memória de longo prazo (LSTM) é um modelo de aprendizado de máquina que é um tipo de rede neural recorrente. A Indicio oferece uma seleção de modelos de aprendizado de máquina, sendo o mais básico o modelo neural univariado (consulte Avançado: Neural). A generalização multivariada desse modelo é o modelo de Rede Neural Artificial (ANN) (Avançado: ANN). O modelo LSTM, sendo uma rede neural recorrente, é mais temporalmente consciente, pois permite que as informações fluam entre os nós da mesma camada, na direção de defasagens maiores para menores.

Séries temporais multivariadas e redes neurais

Para modelar um conjunto de kk série temporal Y1,... , Reino UnidoY1, ... ,Simusando uma rede neural, o p⋅kp□k valores defasados são usados como entradas e a rede neural é treinada para explicar o p atualp valores da série temporal incluída. Assim como no caso univariado, uma previsão pode então ser criada usando yt,... , yt−p+1yt, ... ,yt−p+1 como entradas para prever yt+1yt+1. Observe que agora estamos escrevendoytpara denotar o vetor de kk valores no tempo tt, o que significa que o modelo criará previsões para tudo variáveis incluídas. Isso pode então ser repetido de forma recursiva usando apenas os valores previstos como entrada, criando uma previsão do comprimento desejado. O modelo LSTM difere de uma rede neural geral por ser recorrente, o que implica que ele é mais bem adaptado para lidar com dados sequenciais, como séries temporais. A outra rede neural recorrente disponível no Indicio é o modelo Gated Recurrent Unit (GRU) (Advanced: GRU), que é uma versão menos parametrizada do LSTM. O GRU foi desenvolvido como uma simplificação do modelo LSTM e demonstrou ter desempenho semelhante.

Como o Indicio se encaixa em um modelo LSTM?

À medida que o número de entradas e saídas de um modelo aumenta, também aumenta o tamanho necessário das camadas ocultas e, com elas, a complexidade do modelo. Isso representa um desafio, pois um modelo complexo sempre corre o risco de ser ajustado demais aos dados. Para remediar isso, os dados são divididos em um conjunto de trens e um conjunto de validação.

O modelo é treinado com base nos dados de treinamento usando Stochastic Gradient Descent (SGD). Apenas algumas das observações são usadas em cada iteração, o que significa que, após um determinado número de iterações, o algoritmo SGD terá examinado todos os dados. Cada um desses conjuntos de iterações é chamado de época. Após cada época, o modelo é usado para criar uma previsão no conjunto de validação e o erro de previsão fora da amostra é calculado. O modelo também faz parte do processo de treinamento, produzindo previsões na amostra, chamadas de valores ajustados, a partir dos quais o erro de previsão na amostra pode ser calculado.

Isso criará duas séries de erros de previsão, dentro e fora da amostra por época. A Indicio aplica algo chamado parada precoce, o que significa que quando a falta de precisão da amostra começa a piorar em várias épocas, o processo de treinamento é interrompido e o modelo é considerado concluído.

‍