Zeitreihenprognose mit AutoML

Habr, hallo!

Im Labor zur Modellierung natürlicher Systeme am Nationalen Zentrum für kognitive Entwicklung der ITMO-Universität erforschen wir aktiv die Verwendung des automatischen maschinellen Lernens für verschiedene Aufgaben. In diesem Artikel möchten wir über die Verwendung von AutoML für eine effiziente Zeitreihenprognose sowie darüber sprechen, wie dies im Open-Source-Framework FEDOT implementiert wird . Dies ist der zweite Artikel in einer Reihe von Publikationen zu dieser Entwicklung gewidmet (die ersten von ihnen gefunden werden kann hier ).

Alle Details sind unter dem Schnitt!

Automatisches maschinelles Lernen (AutoML)

Die moderne Datenwissenschaft ist zu einem sehr beliebten Teil der IT-Sphäre geworden. Experten sammeln Daten, bereinigen sie, probieren verschiedene Modelle aus, führen Validierungen durch und wählen die besten aus. Und das alles, um dem Unternehmen die Lösung zu bieten, die den größten Nutzen bringt. Gleichzeitig werden einige Phasen des Erhaltens solcher Lösungen von Jahr zu Jahr mehr automatisiert. Dies gilt in der Regel für die routinemäßigsten Teile. Dies gibt den Experten Zeit für wichtigere Aufgaben.

Stellen wir uns also vor, ein Spezialist steht vor der Aufgabe, ein Modell für maschinelles Lernen zu erstellen und es in einen Webdienst zu „wickeln“, damit genau dieses Modell nützliche Arbeit leistet - etwas vorhersagen. Bevor Sie jedoch mit dem Training des Modells beginnen, müssen Sie mehrere Schritte ausführen, darunter:

• Sammeln Sie Daten aus vielen Quellen und bereinigen Sie sie.
• , , ;
• , ;
• .

, , . , , , , . , - , . — MLFlow, Apache AirFlow . — - workflow management system (WMS) . .

, ?

, “”, . “” ML .

. , , open-source, TPOT, AutoGluon, MLJAR H2O. AutoML “ , ( ) ”. , . ( ) , : TPOT FEDOT.

SaaS-, DataRobot, GoogleAutoTables, Amazon SageMaker, ML , AutoML.

, AutoML : . , , . , .

, , open-source . , — ( ).

, . : , . : , , — . AutoML legacy — , ( “ ”) : , .

, - , — . open-source — AutoTS. “” — AR ARIMA. “” , ( ), . , , pmdarima.

— AutoML- . . , , H2O, . , open-source , , , . .

AutoML-?

, , . :

• (, , — , — );
• ;
• () ;
• ( -);
• in-sample out-of-sample ;
• — ?
  
  , , , — .

AutoML . , , data-driven , .. , .. - .

AutoML, . , open-source AutoML , — FEDOT.

, , — . , , , (, ). .

, , . , , .. , , , . , , baseline .

, , (, , ).

, , . , AutoML FEDOT, .

FEDOT

, . FEDOT- . ? , , ? ?

! .

, — : SSA , . H2O. .

. — , . , . , , :

“lagged-“ . FEDOT “lagged”. — .

1 . , . muli-target . :

. 3 lagged

. , AR ARIMA. , .

: — . — . ⋅.

, , . — , , . , .

14 . , — .

, . , . , , jupyter notebook’.

— . FEDOT :

• , ;
• ;
• .

, , , . . . . .

, ,

lagged-, , ridge- (. ), “”.

, — “”. , , .

AutoML. FEDOT , API.

, “”. AutoML :

• — . , , . , , “” . ;
• — , , . , .

:

.

. : (MAE) (RMSE): MAE — 100.52, RMSE — 120.42.

, : ?

: . . 14 . 14 ( 42). in-sample .

, out-of-sample in-sample :

. in-sample out-of-sample

, 14 . 28 — 2 14 . , (out-of-sample).

, in-sample . ( ). , , .

FEDOT — 3- 14 . . . , , .

14 .

. , , .

( ). , ,

, . , , , . , .

— K- , . , . K- . — .

, , , .

, “” ,

, — , 1000 ⋅, 0. . (, ) . K-nn . , , : MAE — 88.19 RMSE — 177.31.

, - . 5 . , , .

, , AutoML. , ML-, .

AutoML FEDOT: , . FEDOT .

( ) .

:

• FEDOT
• web- — FEDOT.Web
• NSS Lab — , AI/ML

AutoML, FEDOT!

Arbeitete an dem Artikel: Mikhail Sarafanov , Pavel Vychuzhanin und Nikolai Nikitin .