Seleção de variáveis para previsão, desde gráficos e intuição até algoritmos de pesquisa baseados em dados

Selecionar os drivers certos para uma previsão geralmente é mais importante do que a própria classe de modelo. Na previsão da demanda de energia, por exemplo, a transformação e a seleção de insumos climáticos proporcionaram ganhos de precisão entre 3,7 e 5,2% em comparação com o uso de dados meteorológicos brutos, um aumento de material em grande escala que se traduz diretamente em melhores decisões de contratação de pessoal, compra e cobertura (Informática em Energia, 2023). Em casos de carga de eletricidade, a curadoria de estações meteorológicas e recursos é uma prática recomendada conhecida justamente porque melhora a habilidade de previsão e o valor comercial (Hong, 2015; veja também evidências sobre a seleção de estações em Moreno-Carbonell et al., 2020). A literatura metodológica mais ampla também mostra que a seleção e a redução baseadas em princípios reduzem o erro e o risco de sobreajuste, seja por meio de critérios de informação, penalização ou métodos bayesianos (Tibshirani, 1996; George e McCulloch, 1993).

Abaixo, descrevemos o que é a seleção de variáveis, como ela evoluiu, por que o tratamento de variáveis exógenas pode criar um viés de previsão e como implementar alternativas modernas, do código aberto às plataformas automatizadas.

Um curto cronograma de seleção de variáveis na previsão

• Inspeção visual de atraso
  Os primeiros meteorologistas analisaram gráficos de dispersão e correlogramas atrasados para identificar os principais indicadores, uma prática útil, mas subjetiva, difícil de escalar.
• Critérios de correlação e informação
  As telas de correlação e a inclusão gradual com AIC ou BIC tiveram como objetivo escolher conjuntos parcimoniosos que equilibram ajuste e complexidade (StepAIC em R's MASS; discussão sobre as compensações entre AIC e BIC em Validação cruzada). O Stepwise funciona, mas é míope e pode ser instável quando os preditores são colineares (Zhang, 2016).
• Regressão penalizada e modelos esparsos
  Métodos como o LASSO realizam o encolhimento e a seleção simultaneamente, melhorando a generalização fora da amostra em configurações de alta dimensão (Tibshirani, 1996; extensões que variam no tempo aparecem em macro e finanças, por exemplo, Kapetanios et al., 2018).
• Seleção e média de variáveis bayesianas
  Os antecedentes de Spike-and-Slab permitem a inclusão probabilística e explicam a incerteza do modelo, geralmente gerando um desempenho preditivo mais forte quando muitos candidatos e atrasos estão na mesa (George e McCulloch, 1993; visão geral em Ishwaran e Rao, 2005; aplicativos e software em pegos).

A armadilha exógena, por que tratar motoristas como exógenos pode prejudicar o futuro

Muitos modelos de aprendizado de máquina e séries temporais tratam os drivers (variáveis independentes) como exógenos. Se você avaliar esses modelos usando valores futuros reais para os motoristas, estará vazando informações, o que aumenta a precisão aparente. A avaliação de séries temporais deve usar origens contínuas ou em expansão e deve simular o conjunto de informações que estava disponível na data da previsão para evitar o viés de previsão (Hyndman, Previsão: Princípios e Prática; veja exemplos de TScV e de origem contínua em Hewamalage et al., 2022, e o guia prático em O blog de Hyndman).

A econometria deixou de tratar muitos fatores macro como exógenos nas décadas de 1970 a 1980. De Christopher Sims”Macroeconomia e realidade” propôs autorregressões vetoriais, onde todas as variáveis são modeladas conjuntamente como endógenas. O Prêmio Sveriges Riksbank de Ciências Econômicas em 2011 reconheceu Sims e Sargent por métodos empíricos que mostram como os choques se propagam, incluindo VARs (Comunicado de imprensa do Prêmio Nobel, 2011; antecedentes em Christiano, 2012). A modelagem conjunta do sistema também força você a prever os drivers, o que elimina o vazamento que ocorre quando você insere valores exógenos realizados nas dobras de teste.

Qual será a boa seleção de variáveis em 2025

• Defina metas que priorizam a decisão
  Alinhe KPIs como RMSE, MAE ou MASE aos custos e horizontes comerciais e avalie com procedimentos de origem contínua para que você veja um verdadeiro erro na hora da decisão (FPP3 e Hewamalage et al., 2022).
• Pesquise amplamente e, em seguida, reduza
  Reúna as características dos candidatos, por exemplo, atrasos, sinais de calendário, clima, preços, manequins de políticas e aplique penalização ou seleção bayesiana para controlar a variância enquanto mantém o sinal (Tibshirani, 1996; George e McCulloch, 1993).
• Prefira modelos de sistema quando os motoristas se deslocam
  Quando preditores e alvos se influenciam mutuamente, mude para o VAR ou o VECM para que os fatores sejam previstos, não emprestados do futuro (modelos estatísticos VAR; R vars pacote).
• Quantifique os ganhos reais
  Registre mudanças no conjunto de recursos com seu impacto fora da amostra. Em séries temporais de energia, uma melhor engenharia de características climáticas gera ganhos mensuráveis, por exemplo, a melhoria de 3,7 a 5,2 por cento citada acima (Informática em Energia, 2023). Estudos similares de domínio específico corroboram que sinais exógenos direcionados aumentam a precisão quando manuseados corretamente (Pedra angular do MIT CTL, 2024).

Implementando a seleção de variáveis, três caminhos práticos

1) Fluxo de trabalho programático de código aberto
Se você precisar de controle total e auditabilidade:

• Python, penalizado e bayesiano
  Uso scikit-learn para LASSO e rede elástica, ou pystan e PyMC para modelos bayesianos. Para modelagem do sistema, o modelos de estatísticas A API VAR suporta a seleção de ordens de atraso e a previsão em várias etapas, o que evita vazamentos ao prever conjuntamente todas as séries (documentos VAR de modelos de estatísticas; visão geral em guia VAR de modelos estatísticos).
• R, escalonado e com espigão e laje
  MASSA: :STEP AIC fornece pesquisa passo a passo baseada em AIC, enquanto pegos implementa antecedentes de espigões e placas que realizam a seleção de variáveis bayesianas e a média do modelo, especialmente úteis com muitos atrasos e indicadores candidatos (StepAic; pegos manual). Para modelagem do sistema, o vars o pacote estima VAR, SVAR e VECM e inclui respostas de impulso e FEVD para diagnósticos (GUINDASTE vars).

2) Avaliação estruturada para precisão livre de vazamentos
Independentemente da cadeia de ferramentas, imponha a avaliação da origem contínua e proíba o uso de entradas exógenas futuras realizadas em dobras de validação. Os textos e notas de Hyndman fornecem configurações concretas e reproduzíveis para avaliação de vários horizontes e TScV (FPP3; Tutorial do TSCV; revisão metodológica em Hewamalage et al., 2022).

3) Plataformas sem código para velocidade e cobertura
Para equipes que desejam uma ampla cobertura de modelos e uma seleção moderna sem escrever código, plataformas como Indicio automatize a pesquisa de variáveis, as transformações de recursos e o benchmarking em modelos estatísticos, econométricos e de ML e, em seguida, operacionalize as melhores configurações com o backtesting adequado, tudo por meio de uma interface amigável (Indicio, seleção de variáveis). As ferramentas dessa categoria são projetadas para apresentar melhorias de precisão mensuráveis rapidamente, ao mesmo tempo em que impõem avaliações sem vazamentos e tubulações repetíveis.

‍

‍

Reunindo tudo, uma tubulação de seleção limpa e livre de vazamentos

• Organize seu conjunto de candidatos
  Recursos informados pelo domínio, estruturas de atraso, interações e transformações, incluindo dados externos, como calendários meteorológicos ou de políticas, quando relevante, pois geralmente geram ganhos reais na prática (Informática em Energia, 2023; Hong, 2015).
• Execute a seleção com encolhimento ou antecedentes bayesianos
  Use a penalização para estabilizar as estimativas ou o pico e a placa para capturar a incerteza do modelo (Tibshirani, 1996; pegos).
• Prefira VAR quando a causalidade ocorre nos dois sentidos
  Fatores e alvos em co-evolução devem entrar em um sistema conjunto para evitar suposições de exogeneidade e preconceitos de previsão (Sims, 1980; Prêmio Nobel, 2011).
• Avalie exatamente como você operará
  Avaliação contínua ou prequencial com o conjunto de informações correto, não divisões aleatórias, portanto, os ganhos relatados persistem na produção (Hyndman TsCV; Hewamalage et al., 2022).

Conclusão

A seleção de variáveis não é uma caixa de seleção, é a espinha dorsal de uma previsão precisa e confiável. Combine a seleção moderna, o encolhimento e a média bayesiana com modelos de sistema quando motoristas e alvos se movem em conjunto, avalie com protocolos à prova de vazamentos e você enviará previsões que se sustentam na produção. Se você valoriza a velocidade como o impacto, considere uma plataforma sem código, como a Indicio, para automatizar o trabalho pesado e, ao mesmo tempo, aderir às melhores práticas de avaliação e implantação (Indicio).

‍