Meer indicatoren, slechtere prognoses? De contra-intuïtieve waarheid achter Indicio's sterrensysteem

Read time
10 min
CATEGORY
Leading indicators

Voorspellen was vroeger een getallenspel – kies een methode, pas deze toe, lever een puntschatting, en ga verder. Serieuze teams werken niet meer zo. De taak is nu om uit te zoeken welke marktsignalen er echt toe doen, welke het eerst bewegen, en of ze hun gewicht in de schaal leggen wanneer je ze in het juiste model stopt.

Dat is de kloof die Indicio moest dichten. Het is een prognoseplatform dat econometrische, AI- en machine-learningbenaderingen toegankelijk maakt voor teams die geen code willen schrijven of pijplijnen willen bewaken – gebouwd rond geautomatiseerde prognoses, backtesting, analyse van leidende indicatoren en verklaarbare outputs. (indicio.com)

Eén functie doet stilletjes veel werk: de sterreninvloedindicatoranalyse. Indicatoren krijgen sterren toegekend, zodat u in één oogopslag kunt zien welke een echt voorspellend gewicht hebben. Meer sterren, sterker signaal. Maar er is een minder voor de hand liggende les in het systeem:

Meer sterren zijn beter. Meer indicatoren niet.

Een model dat leunt op twee of drie indicatoren met veel sterren zal soms beter presteren dan een model volgepropt met een dozijn middelmatige indicatoren. Dat is geen fout – dat is precies het punt.

Wat de sterreninvloedanalyse doet

Het rangschikt leidende indicatoren op basis van hoeveel ze uw prognose daadwerkelijk helpen. Meer sterren betekent een sterk signaal. Minder sterren, nuttig maar minder. Eén ster, marginaal.

Het doel is niet om indicatoren te hamsteren. Het is om de indicatoren te vinden die de prognose consequent verbeteren. De meeste bedrijven beschikken over veel meer potentiële drijfveren dan ze kunnen gebruiken – macrodata, vraagsignalen, prijzen, toeleveringsketen, zoektrends, weer, sentiment, bewegingen van concurrenten. Sommige lopen vooruit op het doel. Sommige lopen achter. Sommige zijn duplicaten in een ander jasje. De sterrenweergave snijdt door de stapel heen en toont de weinige inputs die hun plaats verdienen.

Waarom meer sterren beter zijn

Een hogere sterrenbeoordeling betekent dat een indicator een echte, nuttige relatie heeft getoond met de variabele die u voorspelt – betere timing, een strakkere statistische koppeling, sterkere out-of-sample prestaties, consistenter gedrag.

Niets hiervan is nieuw. De statistische literatuur zegt het al decennia. Tibshirani's originele Lasso-paper beargumenteerde: krimp en selectie geven je een model dat zowel interpreteerbaar als goed gedrag vertoont. (OUP Academic) In tijdreeksen zijn de belangen groter – je hebt te maken met ruis, structurele breuken, seizoensinvloeden en relaties die verschuiven. Een goede leidende indicator moet meer doen dan overeenkomen met de geschiedenis. Het moet helpen perioden te voorspellen die het model nog niet heeft gezien.

Waarom twee of drie indicatoren tien kunnen verslaan

Het voelt averechts. Meer informatie zou betere voorspellingen moeten betekenen, toch? Niet echt. Voorspellingsmodellen belonen nuttig volume, niet ruw volume. Stapel indicatoren op en een paar dingen gaan mis:

  • Ruis sluipt binnen. Zwakke indicatoren voegen variantie toe die het model niet kan scheiden van het signaal.
  • Het model overfitt. Het onthoudt patronen die zich niet herhalen.
  • Variabelen overlappen. De helft van uw indicatoren zegt hetzelfde, en het model telt dubbel.
  • U raakt door de geschiedenis heen. Korte reeksen kunnen geen brede variabele set ondersteunen.
  • U verliest het verhaal. Drie duidelijke inputs zijn gemakkelijk uit te leggen. Twintig vage inputs zijn een zwarte doos, zelfs als ze werken.

Onderzoek naar Lasso en gerelateerde methoden komt steeds tot dezelfde conclusie: het kiezen van de meest informatieve voorspellers maakt modellen zowel nauwkeuriger als stabieler. (Proceedings of Machine Learning Research)

Waarom modellen de voorkeur geven aan een slankere set indicatoren

Veel prognosemodellen vermijden actief onnodige complexiteit, vooral in multivariate tijdreeksen. Elke nieuwe indicator voegt een nieuwe set relaties toe om te schatten.

Indicio biedt een uitgebreide bibliotheek – VAR, Structurele VAR, VECM, VARX Lasso, VARMA, ARDL, VARX Lag Group Lasso, VAR Elastic Net, HVAR, BVAR, TVP BVAR met stochastische volatiliteit, Markov Switching VAR, MIDAS, Random Forest VAR, en andere. Ze vereisen allemaal gedisciplineerde input. VAR en BVAR verdrinken in parameters zodra je ze in hoge dimensies duwt; de Bayesiaanse VAR-literatuur beveelt krimp aan om schattingen stabiel te houden. (ScienceDirect) Lasso en Elastic Net lossen het vanuit een andere hoek op – Lasso drijft zwakke coëfficiënten naar nul, Elastic Net behandelt gecorreleerde voorspellers. (OUP Academic)

Daarom kan een model zich richten op een handvol indicatoren met veel sterren. Het gooit geen informatie weg. Het beschermt de prognose tegen zwakke, overbodige of instabiele inputs.

Sterren maken de prognose verklaarbaar

Nauwkeurigheid alleen is niet genoeg. Prognoseteams moeten uitleggen wat ze aan het management presenteren. (indicio.com) In plaats van naar een zwarte doos te zwaaien, kunt u wijzen op de indicatoren die het werk doen en uitleggen waarom:

"De prognose verbetert omdat het model drie sterke leidende indicatoren met een hoge sterreninvloed heeft opgepikt."

Dat komt goed over bij financiën, verkoop, supply chain en het directieteam. Het klinkt als redenering, niet als magie.

Backtesting is niet onderhandelbaar

Een sterrenbeoordeling mag niet gebaseerd zijn op een onderbuikgevoel. Indicatoren moeten worden getest tegen de werkelijke historische prestaties – backtesting, rolling-origin evaluatie, tijdreeks cross-validatie. Tijdreeksevaluatie moet de tijd respecteren: trainen op het verleden, testen op de toekomst, nooit zomaar gegevens door elkaar husselen zoals je dat bij standaard ML zou doen. Rolling-origin evaluatie is een van de eerlijkere manieren om live prognoses te simuleren. (Springer)

Een indicator met sterren heeft gewicht omdat het niet "wij denken dat dit belangrijk is" betekent. Het betekent "het model heeft dit signaal in de geschiedenis gezien en nuttig bevonden."

Wanneer meer indicatoren wel helpen

Klein is niet altijd beter. Stock en Watson toonden aan dat wanneer veel voorspellers een onderliggende factorstructuur delen, je ze kunt comprimeren tot een paar factoren en daaruit kunt voorspellen. (stock.scholars.harvard.edu) De valkuil: elke extra indicator moet iets nieuws toevoegen. Tien indicatoren die dezelfde beweging volgen, zijn geen tien indicatoren – het is één signaal met redundantie. Het sterrensysteem is hoe je het verschil ziet tussen meer data en betere data.

Een workflow die standhoudt

  1. Werp een breed net uit voor kandidaat-indicatoren.
  2. Breng de indicatoren met veel sterren naar boven.
  3. Test modellen ertegen met backtesting.
  4. Laat het model neigen naar de sterkste, meest stabiele signalen.
  5. Gebruik de sterrenweergave wanneer u de prognose moet uitleggen.
  6. Ververs wanneer nieuwe gegevens binnenkomen.

Waarom het belangrijk is voor het bedrijf

Bedrijfsprognoses falen meestal op een van de twee manieren – teams vertrouwen te veel op hun onderbuikgevoel, of ze compliceren het model te veel met marginale variabelen. Indicio is gebouwd om beide te verminderen, door serieuze academische methoden te combineren met de bruikbaarheid die prognoseteams daadwerkelijk nodig hebben. (indicio.com) Voor besluitvormers is de opbrengst concreet: betere nauwkeurigheid, vroegere inzichten in marktverschuivingen, prognoses die u in een vergadering kunt verdedigen, en minder tijd kwijt zijn aan het handmatig doorlopen van indicatoren.

De conclusie

Voorspellen beloont kwaliteit boven kwantiteit. Een driesterrenindicator is waardevol omdat deze een echt voorspellend signaal levert. Een prognose gebaseerd op twee of drie van dergelijke indicatoren zal vaak beter presteren dan een prognose gebaseerd op een lange lijst van zwakke indicatoren.

Meer sterren zijn beter. Maar de beste prognose is niet die met de meeste indicatoren. Het is die met de juiste.

Ontdek meer van onze blogposts

Virtuele demo

Bekijk onze doorklikdemo

Ervaar het gemak en de nauwkeurigheid van Indicio's geautomatiseerde prognoseplatform uit de eerste hand. Klik om vandaag nog een virtuele demo te starten en ontdek hoe onze geavanceerde tools uw besluitvormingsproces kunnen stroomlijnen.