Dlaczego nie powinieneś kupować platformy AI, nauki o danych lub uczenia maszynowego, jeśli zamierzasz budować dokładne modele prognozowania

Nowoczesne platformy sztucznej inteligencji są imponujące w przypadku ogólnych zadań predykcyjnych, ale gdy Twoim celem jest wysoka dokładność prognozowania szeregów czasowych z ograniczoną historią, często niewystarczają. Dziesięciolecia dowodów pokazują, że klasyczne, specjalnie skonstruowane metody prognozowania często pokonują ogólne uczenie maszynowe, gdy masz krótkie szeregi czasowe, złożoną sezonowość, odstające wartości, zmieniającą się zmienność lub zmieniające się w czasie parametry. To nie jest opinia, jest udokumentowana w głównych konkursach prognozowania i podręcznikach, na których polegają praktycy, w tym konkursach M i Prognozowanie: zasady i praktyka. Podstawowa wiadomość jest prosta, jeśli Twoim zamiarem są dokładne prognozy, zwłaszcza z danymi miesięcznymi lub kwartalnymi, zainwestuj w specjalistyczne możliwości prognozowania, a nie w ogólną platformę AI.

To, co następuje, syntetyzuje wyniki badań empirycznych i sprawdzonych w praktyce odniesień, takich jak konkursy M4 i M5, Hyndman i Athanasopoulos oraz recenzowane badania nad solidnymi, sezonowymi i zmiennymi w czasie modelami.

Mała rzeczywistość prognozowania biznesowego

Większość serii planowania w finansach, łańcuchu dostaw i zarządzaniu siłą roboczą nie jest długa. Miesięczne dane od 5 do 10 lat dają od 60 do 120 obserwacji, dane kwartalne na tym samym horyzoncie dają od 20 do 40 obserwacji. Hyndman i Athanasopoulos podkreślają, że wybór metody musi być zgodny z wzorcami w danych, a reżim oceny musi przestrzegać porządku czasowego, zazwyczaj poprzez walidację krzyżową szeregów czasowych, a nie losowe tasowania (przegląd walidacji krzyżowej szeregów czasowych). W tym ustawieniu małej próbki klasyczne metody sezonowe, modele przestrzeni stanowej i karalne warianty regresji są zaprojektowane tak, aby działały skutecznie.

Dlaczego ogólne platformy ML zmagają się z prognozowaniem

Ogólne platformy uczenia maszynowego zwykle zajmują się prognozowaniem, przekształcając serię w problem tabelaryczny i dodając opóźnione funkcje. Nawet samouczki opisujące metody oparte na drzewach lub neuronowe dla szeregów czasowych stwierdzają, że inżynieria funkcji zazwyczaj rozpoczyna się od tworzenia opóźnionych wartości i statystyk tocznych (przykładowa dyskusja). Takie podejście może działać z obfitymi danymi, ale często osiąga słabsze wyniki, gdy seria jest krótka, ponieważ złożoność modelu przewyższa zawartość informacji, prowadząc do dużej wariancji. Regularyzacja pomaga, dlatego karane regresje są silnymi liniami bazowymi w małych próbkach (krótki podkład).

Jak działają złożone modele ML i dlaczego wymaga danych

Nowoczesny ML może reprezentować bardzo bogatą, nieliniową strukturę. Kompromis to głód próbki. Poniżej znajdują się konkretne przykłady tego, co każda rodzina może uchwycić, i dlaczego dokładność prognozowania zazwyczaj wymaga tysięcy obserwacji lub wielu powiązanych serii.

• Przewidywane sieci neuronowe nauczyć się interakcji nieliniowych wysokiego rzędu poprzez ułożone transformacje afinowe i aktywacje, umożliwiając uniwersalną aproksymację funkcji (Podręcznik Deep Learning). Ta pojemność jest potężna do przechwytywania progów, nasyceń i efektów krzyżowych między egzogennymi sterownikami, ale liczba parametrów rośnie szybko wraz z szerokością i głębokością. Przy zaledwie 60 do 120 obserwacjach miesięcznych stosunek parametru do obserwacji jest niekorzystny, co zwiększa ryzyko nadmiernego dopasowania, chyba że masz duże panele przekrojowe lub ciężką regularyzację.
• LSTM i inne sieci powtarzające się są zaprojektowane do uchwycenia zależności czasowych dalekiego zasięgu, zmian reżimu i ewolucji stanu nieliniowego za pomocą mechanizmów bramowych (oryginalny papier LSTM). W praktyce modele sekwencji stanowych wyróżniają się, gdy są szkolone na tysiącach długich sekwencji lub na dużych panelach powiązanych serii, w których sieć może udostępniać informacje między elementami, jak w przypadku popytu detalicznego. Architektury klasy branżowej, takie jak DeepAR, wyraźnie opierają się na wzajemnym uczeniu się w wielu powiązanych seriach, aby dobrze radzić sobie z zadaniami prognozowania (Papier DeepAr). Z kilkoma krótkimi seriami miesięcznymi, LSTM mają tendencję do nadmiernego dopasowywania się do osobliwości każdej serii, zamiast uczenia się stabilnej dynamiki czasowej.
• Drzewa wzmocnione gradientem, takie jak XGBoost przechwytywanie złożonych nieliniowości i interakcji wysokiego rzędu poprzez budowanie zestawów drzew decyzyjnych, z których każde koryguje błędy resztkowe z poprzedniego (Papier XGBoost). Jest to doskonałe rozwiązanie do modelowania progów i efektów interakcji między wieloma opóźnionymi cechami i współzmiennymi. Jednakże, gdy prognozowanie jest sformułowane jako problem tabelaryczny z dziesiątkami opóźnień i funkcji kalendarza, szybko tworzysz przestrzeń obiektów o wysokim wymiarze. Nauka niezawodnych podziałów i interakcji wymaga wielu wierszy treningowych, aby uniknąć błędów spowodowanych wariancją. Przy 60 miesięcznych obserwacjach na serię jest po prostu zbyt mało rzędów, aby solidnie nauczyć się struktur głębokich interakcji bez wycieków lub nadmiernego dopasowania.

Co rzeczywiście pokazały konkursy

Dowody empiryczne na dużą skalę są jednoznaczne w ważnym punkcie, nie ma uniwersalnie najlepszej metody, a wydajność zależy od charakterystyki danych.

• W konkursie M4 metody czystego uczenia maszynowego osiągały słabsze wyniki w stosunku do kombinacji i klasycznych metod statystycznych w bardzo dużym i heterogenicznym zestawie szeregów (artykuł z wynikami, podsumowanie i droga naprzód).
• W konkursie M5 skoncentrowanym na handlu detalicznym podejścia do zwiększania gradientu były widoczne wśród najlepszych zgłoszeń, ale autorzy zauważyli również, że proste wykładnicze wygładzanie pozostało wysoce konkurencyjne na pewnych poziomach agregacji i że uczenie krzyżowe w wielu powiązanych seriach było kluczowe (Przegląd dokładności M5, raport organizatorów).

Implikacja dla kupujących jest jasna, dokładność zależy od metod odpowiadających reżimowi danych. Gdy każda seria jest krótka i idiosynkratyczna, jak w wielu środowiskach korporacyjnych, dominują wyspecjalizowane modele prognozowania i kombinacje. Kiedy masz tysiące powiązanych codziennych serii z bogatymi współzmiennymi, niektóre podejścia ML mogą świecić, ale jest to zupełnie inny reżim.

Czego szukać zamiast ogólnej platformy ML

Jeśli Twoim zadaniem są dokładne prognozy, nadaj priorytet platformom i procesom, które są specjalnie zaprojektowane do prognozowania szeregów czasowych. Specjalistyczne platformy, takie jak Indicio, koncentrują się na prognozowaniu i ujawniają odpowiedni zestaw narzędzi do modelowania i oceny. Użyj tej listy kontrolnej, aby ocenić dopasowanie:

• Biblioteka modeli dopasowana do struktury szeregów czasowych. VAR, VECM, Lasso, MIDAS, modele przestrzeni stanowej, hierarchiczne uzgadnianie i kombinacje modeli są niezbędne dla krótkich i sezonowych serii (odniesienie do podręcznika, przegląd kombinacji prognoz).
• Funkcje wytrzymałości. Natywna obsługa odstających i rzetelne oszacowanie, dzięki czemu pojedynczy kolec nie zniekształca parametrów (wytrzymały Holt-Winters).
• Dynamika zmieniająca się w czasie. Wsparcie dla TVP, zmienność stochastyczna i zmiany reżimu, gdy świat się zmienia (TVP w praktyce, ostatnie porównanie TVP-VAR).
• Właściwe testowanie wsteczne. Walidacja krzyżowa typu rolling-origin i szeregów czasowych po wyjęciu z pudełka (Przewodnik tscv).
• Dowody z benchmarków. Możliwość odtwarzania ocen stylu M-konkurencji i łączenia prognoz, co konsekwentnie zapewnia dużą dokładność (Wyniki M4).

Kluczowe wnioski dla kupujących

• Jeśli prognozujesz głównie serie miesięczne lub kwartalne z dziesiątkami do kilkuset obserwacji, klasyczne metody sezonowe, modele przestrzeni stanowej i ukarane regresje są zazwyczaj silniejsze i bardziej niezawodne niż ogólne rurociągi ML (odniesienie do podręcznika, Wyniki M4).
• Kiedy masz tysiące powiązanych serii i bogate dane egzogenne, uczenie maszynowe może się doskonalić, ale tylko przy starannej ocenie szeregów czasowych i uczeniu krzyżowym, o czym świadczy M5 (M5 przegląd).
• Praktyczną drogą do dokładności nie są modne słowa platformowe, to dopasowanie metod, solidność i dyscyplina oceny oparta na nauce prognozowania (odniesienie do podręcznika).

Podsumowując

Jeśli Twoim zamiarem jest dokładne prognozowanie, zwłaszcza w przypadku krótkich miesięcznych lub kwartalnych historii, ogólna platforma AI, data science lub ML to niewłaściwy zakup. Wybierz specjalistyczną platformę prognozowania, która zawiera modelowanie sezonowe, odporność na wartości odstające, parametry zmieniające się w czasie, kwantyfikację niepewności i testowanie wsteczne bez wycieków. W ten sposób zamieniasz ograniczone historie w wiarygodne decyzje.