Por que você não deve comprar uma plataforma de IA, ciência de dados ou aprendizado de máquina se sua intenção é criar modelos de previsão precisos

Read time
4 min
CATEGORY
Forecasting software

As plataformas modernas de IA são impressionantes para tarefas preditivas gerais, mas quando sua meta é alta precisão na previsão de séries temporais com histórico limitado, elas geralmente não funcionam. Décadas de evidências mostram que os métodos de previsão clássicos e específicos geralmente superam o aprendizado de máquina genérico quando você tem séries temporais curtas, sazonalidade complexa, valores atípicos, volatilidade variável ou parâmetros que variam no tempo. Isso não é opinião, está documentado nas principais competições de previsão e livros didáticos em que os profissionais confiam, incluindo as competições M e Previsão: Princípios e Prática. A mensagem principal é simples: se sua intenção é fazer previsões precisas, especialmente com dados mensais ou trimestrais, invista em recursos especializados de previsão, não em uma plataforma genérica de IA.

O que se segue sintetiza descobertas de estudos empíricos e referências comprovadas na prática, como as competições M4 e M5, Hyndman e Athanasopoulos, e pesquisas revisadas por pares sobre modelos robustos, sazonais e variáveis no tempo.

A pequena realidade da previsão de negócios

A maioria das séries de planejamento em finanças, cadeia de suprimentos e gerenciamento da força de trabalho não são longas. Os dados mensais de 5 a 10 anos fornecem de 60 a 120 observações, os dados trimestrais no mesmo horizonte fornecem de 20 a 40 observações. Hyndman e Athanasopoulos enfatizam que a escolha do método deve seguir os padrões dos dados e que o regime de avaliação deve respeitar a ordem temporal, normalmente por meio de validação cruzada de séries temporais, não de embaralhos aleatórios (visão geral da validação cruzada de séries temporais). Nesse cenário de amostra pequena, métodos sazonais clássicos, modelos de espaço de estados e variantes de regressão penalizada são projetados para funcionar de forma eficaz.

Por que as plataformas genéricas de ML têm dificuldades com a previsão

As plataformas genéricas de aprendizado de máquina geralmente abordam a previsão convertendo a série em um problema tabular e adicionando recursos atrasados. Até mesmo tutoriais que descrevem métodos neurais ou baseados em árvores para séries temporais afirmam que a engenharia de recursos normalmente começa criando valores defasados e estatísticas contínuas (exemplo de discussão). Essa abordagem pode funcionar com dados abundantes, mas geralmente tem um desempenho inferior quando a série é curta porque a complexidade do modelo supera o conteúdo das informações, levando a uma alta variação. A regularização ajuda, e é exatamente por isso que as regressões penalizadas são linhas de base fortes em amostras pequenas (primer curto).

Como os modelos complexos de ML funcionam e por que eles exigem dados

O ML moderno pode representar uma estrutura não linear muito rica. A desvantagem é a fome por amostras. Abaixo estão exemplos concretos do que cada família pode capturar e por que a precisão da previsão normalmente requer milhares de observações ou muitas séries relacionadas.

  • Redes neurais Feedforward aprenda interações não lineares de alta ordem por meio de transformações e ativações afins empilhadas, permitindo a aproximação universal de funções (Livro didático de aprendizado profundo). Essa capacidade é poderosa para capturar limites, saturações e efeitos cruzados entre drivers exógenos, mas a contagem de parâmetros aumenta rapidamente com a largura e a profundidade. Com apenas 60 a 120 observações mensais, a relação entre parâmetros e observações é desfavorável, o que aumenta o risco de sobreajuste, a menos que você tenha grandes painéis transversais ou regularização pesada.
  • LSTM e outras redes recorrentes são projetados para capturar dependências temporais de longo alcance, mudanças de regime e evolução de estado não linear por meio de mecanismos de bloqueio (papel LSTM original). Na prática, os modelos de sequência com estado se destacam quando treinados em milhares de sequências longas ou em grandes painéis de séries relacionadas, nos quais a rede pode compartilhar informações entre itens, como na demanda do varejo. Arquiteturas de nível industrial, como o DeepAR, dependem explicitamente do aprendizado cruzado em muitas séries relacionadas para ter um bom desempenho em tarefas de previsão (Papel DeepAR). Com algumas séries mensais curtas, os LSTMs tendem a se adequar às idiossincrasias de cada série, em vez de aprender uma dinâmica temporal estável.
  • Árvores com aumento de gradiente, como o XGBoost capture não linearidades complexas e interações de alta ordem construindo conjuntos de árvores de decisão, cada uma corrigindo erros residuais da anterior (Papel XGBoost). Isso é excelente para modelar limites e efeitos de interação entre muitos recursos e covariáveis defasados. No entanto, quando a previsão é enquadrada como um problema tabular com dezenas de atrasos e recursos de calendário, você cria rapidamente um espaço de recursos de alta dimensão. Aprender divisões e interações confiáveis exige muitas linhas de treinamento para evitar erros causados por variações. Com 60 observações mensais por série, há simplesmente poucas linhas para aprender de forma robusta estruturas de interação profundas sem vazamentos ou sobreajuste.

O que as competições realmente mostraram

A evidência empírica em grande escala é inequívoca em um ponto importante: não existe um método universalmente melhor e o desempenho depende das características dos dados.

  • Na competição M4, os métodos puros de aprendizado de máquina tiveram um desempenho inferior em relação às combinações e aos métodos estatísticos clássicos em um conjunto muito grande e heterogêneo de séries (artigo de resultados, resumo e caminho a seguir).
  • Na competição M5 focada no varejo, as abordagens de aumento de gradiente foram proeminentes entre as principais inscrições, mas os autores também observaram que a suavização exponencial simples permaneceu altamente competitiva em certos níveis de agregação e que o aprendizado cruzado em muitas séries relacionadas era crucial (Visão geral da precisão do M5, relatório dos organizadores).

A implicação para os compradores é clara: a precisão depende de métodos que correspondam ao regime de dados. Quando cada série é curta e idiossincrática, como em muitos ambientes corporativos, modelos e combinações de previsão especializados tendem a dominar. Quando você tem milhares de séries diárias relacionadas com covariáveis ricas, certas abordagens de ML podem brilhar, mas esse é um regime muito diferente.

O que procurar em vez de uma plataforma genérica de ML

Se sua missão são previsões precisas, priorize plataformas e processos criados especificamente para a previsão de séries temporais. Plataformas especializadas, como a Indicio, se concentram na previsão e expõem o kit de ferramentas certo de modelagem e avaliação. Use esta lista de verificação para avaliar a adequação:

  • Biblioteca de modelos alinhada com a estrutura de séries temporais. VAR, VECM, Lasso, MIDAS, modelos de espaço de estados, reconciliação hierárquica e combinações de modelos são essenciais para séries curtas e sazonais (referência de livros didáticos, visão geral das combinações de previsão).
  • Características de robustez. Tratamento nativo de valores discrepantes e estimativa robusta para que um único pico não inviabilize os parâmetros (Holt-Winters robustos).
  • Dinâmica que varia no tempo. Suporte para TVP, volatilidade estocástica e mudanças de regime quando o mundo muda (TVP na prática, comparação recente TVP-VAR).
  • Teste retroativo adequado. Validação cruzada de origem contínua e de séries temporais prontas para uso (guia tscv).
  • Evidências de benchmarks. Capacidade de reproduzir avaliações no estilo M-competition e combinar previsões, o que fornece consistentemente uma forte precisão (Resultados M4).

Principais conclusões para compradores

  • Se você prevê principalmente séries mensais ou trimestrais com dezenas a algumas centenas de observações, os métodos sazonais clássicos, os modelos de espaço de estados e as regressões penalizadas geralmente são mais fortes e confiáveis do que os pipelines genéricos de ML (referência de livros didáticos, Resultados M4).
  • Quando você tem milhares de séries relacionadas e ricos dados exógenos, o aprendizado de máquina pode se destacar, mas somente com uma avaliação cuidadosa de séries temporais e aprendizado cruzado, conforme evidenciado por M5 (Visão geral do M5).
  • O caminho prático para a precisão não são os chavões da plataforma, é o ajuste do método, a robustez e a disciplina de avaliação fundamentada na ciência da previsão (referência de livros didáticos).

Conclusão

Se sua intenção é fazer previsões precisas, especialmente com históricos curtos mensais ou trimestrais, uma plataforma geral de IA, ciência de dados ou ML é a compra errada. Escolha uma plataforma de previsão especializada que incorpore modelagem sazonal, robustez a valores atípicos, parâmetros variáveis no tempo, quantificação de incertezas e backtesting sem vazamentos. É assim que você transforma histórias limitadas em decisões confiáveis.

Explore mais das postagens do nosso blog

Demonstração virtual

Veja nossa demonstração em cliques

Experimente a facilidade e a precisão da plataforma de previsão automatizada da Indicio em primeira mão. Clique para iniciar uma demonstração virtual hoje mesmo e descobrir como nossas ferramentas de ponta podem agilizar seu processo de tomada de decisão.