Die Verwendung von Methoden im Zusammenhang mit der diskreten Fourier-Transformation im Geschäft hat ein erhebliches Potenzial. Ein begrenzender Faktor bei der Realisierung dieses Potenzials ist eine hohe methodische Eintrittsbarriere.
Der Schwerpunkt der Arbeit:
- Datenanforderungen für die korrekte Fourier-Approximation von Zeitreihen;
- die Gültigkeit der Erwartungen aus den Prognosen;
- Ein kleiner Satz von Harmonischen reicht aus, um eine komplexe Reihe anzunähern.
- Was ist ein Fourier-Ereignis?
- wie und wie Fourier-Events dem Geschäft helfen können;
- Fourier-Ereignisse in der Cashflow-Analyse.
1. Prognose
Die Aufgabe wurde von einem großen Seetransportunternehmen gestellt und betraf Prognosen für die Frachtpreise nach Schiffstypen. Der Spediteur hatte eine Reihe von Abonnements für Prognosen internationaler Analyseunternehmen, aber die Qualität der Prognosen passte nicht zu ihm. Analystenunternehmen verwendeten multiple Regressionen, verfügten über Langzeitstatistiken und erweiterten die Dimension ihrer Modelle kontinuierlich. Gleichzeitig gaben sie selbst einen relativ hohen Prozentsatz an Fehlern in ihren Prognosen zu.
Das Kriterium für die Beurteilung des Erfolgs der neuen Prognose war wie folgt: Es wird ein Fragment historischer Daten angegeben, eine Prognose erstellt und die Genauigkeit der Prognose für die bereits vollendete Zukunft berechnet. Eventualität wurde sofort zu einem klaren methodischen Problem. Wenn die Vereinigten Staaten bis 2017 überhaupt kein Öl verkauft haben und dann sofort führend wurden, wie kann sich dies auf die Schlussfolgerungen auswirken, die auf historischen Daten beruhen? Andere Ereignisse: Kriege, Krisen - aus Sicht der Prognose sind sie im Wesentlichen dieselben Ereignisse, aber die Situation mit Ölexporten aus den Vereinigten Staaten ist äußerst indikativ, um den Ereignisfaktor in der Prognosemethode zu verwerfen (Gewichte erzeugen Linearität, und Ereignisse erzeugen eine Lücke und Singularität). ...
Viele Methoden wurden ausprobiert. Am interessantesten war die Fourierreihen-Approximation (Fourier-Approximation) von Zeitreihen und ihre Untersuchung unter dem Gesichtspunkt der Prognose für Unternehmen. Gleichzeitig gab es ein technisches Problem - die Approximation gegenüber der Originalserie verschob sich ständig.
2. Datenbildung für die Fourier-Transformation
Notwendige vorläufige Erklärungen.
Die diskrete Fourier-Transformation wird auf Vektoren angewendet, die aus reellen Werten bestehen. Wenn eine Zeitreihe als eine Menge von <Zeitwert> -Punkten betrachtet wird, wird die Fourier-Transformation aus einer Folge von Zeitreihenwerten auf einen Vektor angewendet.
Es gibt Feinheiten bei der Verwendung der Fourier-Transformation, die mit der Anzahl der Werte und Eigenschaften der Lücken zwischen ihnen verbunden sind. Beispielsweise kann die ursprüngliche Zeitreihe ungleiche Intervalle oder fehlende Werte für bestimmte Zeitpositionen (Wochenenden, Feiertage) aufweisen.
In vielen Fällen ist das folgende Verfahren hilfreich. Die ursprüngliche Zeitreihe wird zuerst interpoliert, und dann wird die erforderliche Anzahl von Werten an den gewünschten Zeitpositionen aus der interpolierten Funktion entnommen. Somit wird die ursprüngliche Zeitreihe durch eine häufigere reguläre Reihe mit der erforderlichen Anzahl interpolierter Werte ersetzt.
Das Folgende ist der von A. Dieckmann beschriebene Ansatz .
Diskrete Fourier-Transformation.
Ein Vektor reeller Werte u = u [r] wird unter Verwendung der folgenden Formel in einen Vektor komplexer Werte f [s] umgewandelt (es gibt verschiedene Formeln für F [s, r], die äquivalente Ergebnisse liefern): f [s] = u [r] * F [s, r], wobei
und die Werte von s, r von 1 bis n variieren.
Notwendige Daten zum Erhalt des Fourier-Spektrums.
Der resultierende Vektor f [s] kann als Fourier-Spektrum interpretiert werden, da er Informationen über die Amplituden, Frequenzen und Phasen der Grundschwingungen enthält.
Darüber hinaus gibt es Anforderungen für u [r]. Die u [r] -Werte müssen an den Teilungspunkten des Intervalls angegeben werden, wenn das Intervall die Länge einer ganzzahligen Anzahl von Schritten derselben Größe hat. Der r-Wert entspricht der Position (Index) im Vektor. Im Allgemeinen definiert r eine Position in Zeit (Zeitreihen) oder Raum (in anderen Dimensionen).
Angenommen, der Vektor u [r] muss für das Intervall [tMin, tMax] definiert werden, dessen Länge tt = (tMax-tMin) ist. Delta = tt / n sei der Abstand zwischen benachbarten Punkten des Intervalls, in dem u [r] berechnet wird.
Lassen Sie uns überlegen, welcher Prozess technisch stattfinden soll.
Der komplexe Exponent in der Matrix F [s, r] kann als Vektorsonde (abhängig von s) interpretiert werden, die sich in der komplexen Ebene mit einer Frequenz (s-1) / tt dreht und sich sequentiell (zeitlich oder räumlich) entlang (r-) bewegt 1) * tt / n. Während der Matrixmultiplikation wird der r entsprechende Sondenvektor mit dem spezifischen u [r] multipliziert, und die Vektorsumme wird über alle r berechnet, wobei die komplexe Zahl f (s) erhalten wird. Und so wird es für alle s von 1 bis n wiederholt. Jedes f [s] zeigt das Vorhandensein oder Fehlen einer Komponente an, die mit der mit s verbundenen Frequenz schwingt.
Wie soll man gebildet werden?
Zu diesem Zeitpunkt sollte die ursprüngliche Zeitreihe interpoliert und auf das ausgewählte Intervall abgebildet werden, ein Vielfaches einer ganzzahligen Anzahl von Schritten. Eine ausreichende Anzahl von Punkten für eine genaue Annäherung wird empirisch ausgewählt.
In dieser Phase ist die Hauptsache, wie viele Punkte zu nehmen sind und welche. Der Wert von n ist auf Delta festgelegt. In diesem Fall haben wir eine Menge von n + 1 Punkten für alle Werte der Intervallpartition.
In u = u [r] müssen nur Punkte vom vorletzten bis zum vorletzten, aber nicht vom letzten Punkt eingeschlossen werden: nur n.
Andernfalls wird die Fourier-Näherung gegenüber der ursprünglichen Zeitreihe geringfügig verschoben.
3. Visuelle Interpretation von Fourier-Transformationen
Für die weit verbreitete Verwendung der Fourier-Transformation in der Praxis ist es notwendig, zu fühlen, was sie zusätzlich zu komplexen Formeln gibt, und die Anfangsdaten korrekt zu bilden.
Überlegen Sie, wie die Fourier-Transformation auf eine Sinusfunktion wirkt. Zu diesem Zweck ist es nützlich, das Verhalten der Funktion und die Eigenschaften, die die Fourier-Transformation an bestimmten Punkten und im Allgemeinen für die untersuchte Funktion ergibt, in einem Diagramm zu kombinieren.
Betrachten Sie die Funktion 1 + Sin [2πx] für das Segment [0, π].
Die Amplitude dieser Funktion entspricht 1 Hz, da sie ihre Bewegung nach 2 π wiederholt.
Sei n = 20, dann können Sie beim Teilen des Intervalls in gleiche Teile 21 Werte an den entsprechenden Punkten der Teilung erhalten. Nach der obigen Erklärung werden wir jedoch nur mit 20 Punkten arbeiten - ohne den letzten (im obigen Bild nur schwarz).
Der Parameter r bewegt sich entlang der Abszisse und hat 20 Werte. Der Parameter s definiert die Geschwindigkeit in (s-1) Hz.
Die folgenden Abbildungen zeigen die Drehung des Sondenvektors. Jede Vektorsonde beginnt an dem Punkt u [r], für den der Wert F [s, r] berechnet wird. Die Parameter des Endes des Sondenvektors werden wie folgt erhalten: Die Abszisse ist das Produkt u [r] * Re [F [s, r]], die Ordinate ist u [r] * Im [F [s, r]].
Aus Gründen der Übersichtlichkeit wurde eine Palette von sich bewegenden Sondenvektoren von Anfang bis Ende ausgewählt. Es beginnt bei Braun, dann bei Grün und Blau:
Die folgenden Abbildungen zeigen die Drehung des Sondenvektors, die auf den Punkt im Diagramm reduziert ist, für den die Fourier-Transformation berechnet wurde, sowie den Pfad (Vektorsumme), wenn benachbarte Sondenvektoren direkt benachbart sind.
Die Ordinatenachse zeigt die Amplitude der ursprünglichen Funktion und den Imaginärteil der Fourier-Transformation an.
Die Abszissenachse ist die Position des Punktes in den Zeitintervallen der ursprünglichen Funktion und des Realteils der Fourier-Transformation.
Die Summe der Vektoren zeigt die Konfiguration der Bewegung der Sondenvektoren. Der schwarze Punkt kennzeichnet den Beginn der Bewegung und das Ende der Bewegung (ein weiterer schwarzer Punkt, wenn sie nicht übereinstimmen). Für s = 3 sind Anfang und Ende gleich. Für s = 1 und s = 2 stimmen Start und Ende nicht überein.
Start- und Endkoordinaten sowie gerundete Werte (sehr nahe bei Null) werden separat angezeigt.
Der s-Wert kennzeichnet die getestete Frequenz.
Das Verhalten ist symmetrisch.
Das Zentrum ist s = 11.
Als Beispiel für Symmetrie geben wir die Zahlen für s = 19 und s = 20 an, die symmetrisch zu s = 3 und s = 2 sind.
Was passiert, wenn Sie nicht 20 Punkte nehmen, sondern 21, einschließlich des letzten. Beispiel für s = 3. Es zeigt das Vorhandensein einer Komponente, die mit einer mit s = 3 verbundenen Frequenz schwingt, während es in der ursprünglichen Funktion keine derartigen Schwingungen gibt. Die ursprüngliche Funktion schwankt nur um 1 Hz.
Alle obigen Diagramme sollen zeigen, wie wichtig es ist, die Intervalle und Abtastdaten für diese Intervalle ohne den letzten Wert korrekt aufzuteilen. Nur in diesem Fall gibt es eine korrekte Fourier-Näherung der ursprünglichen Reihe und die Möglichkeit ihrer periodischen Fortsetzung.
Der Rest der Fourier-Approximationsaspekte ist in der Referenzliteratur ziemlich vollständig dargestellt.
4. Analyse von Echtzeitreihen
Kehren wir zu der Aufgabe zurück, die am Anfang beschrieben wurde.
Das Folgende ist eine Fourier-Näherung historischer Daten zu Versandpreisen für den Versand.
Jedes Bild im ersten Block links zeigt eine Grafik, die zeigt, auf welcher Ebene der Amplitudenwerte (rot gepunktete Linie) Harmonische, die einen unbedeutenden Beitrag leisten, abgeschnitten werden. Der erste Block rechts zeigt die Eigenschaften der ersten 10 Harmonischen der Approximationsreihe in abnehmender Amplitude.
Der zweite Block besteht aus Plots mit zunehmender Anzahl von Harmonischen (in der Reihenfolge der größten Amplitude), die zur Approximation verwendet werden. Das Ergebnis der Approximation ist eine rot gepunktete Linie.
Für eine bestimmte Zeitreihe sind 5 Harmonische ausreichend.
Für diese Zeitreihe können wir uns auf 5 Harmonische beschränken, wenn nicht sehr alte Daten als zu wichtig erachtet werden.
Diese Zeitreihe wird durch die 8. Harmonische recht gut angenähert.
In diesem Fall ist es wünschenswert, 11 Harmonische zu berücksichtigen.
Somit können historische Daten in einem ziemlich dynamischen Tätigkeitsfeld (Preise für Schiffe für den Seetransport) durch durchschnittlich 10 Harmonische gut angenähert werden.
Im Allgemeinen kann das Problem der Vorhersage, wenn die bereits vorhandene Zukunft aus einem Fragment historischer Daten mit einem gewissen Fehler wiederhergestellt wird, als gelöst angesehen werden, wenn die grundlegenden (einige) Harmonischen der Approximation bekannt sind.
Gleichzeitig ist klar, dass die Prognose für die Zukunft, die die Fourier-Näherung geben wird, tatsächlich völlig falsch sein wird: Dies wird aufgrund des transparenten Mechanismus für die Konstruktion der Fourier-Näherung deutlich.
Wenn wir bei multipler Regression über 70% der Prognosezuverlässigkeit sprechen, ist alles gleich, aber der undurchsichtige Konstruktionsmechanismus lässt uns unangemessen hoffen, dass die Prognose im Allgemeinen (70%) korrekt ist.
5. Fourier-Ereignisse
Fourier-Ereignisse treten unter der Annahme auf, dass grundlegende zyklische Prozesse (Harmonische) stattfinden, die überlagert und mit wichtigen Ereignissen kombiniert werden, die auch durch Harmonische dargestellt werden.
Somit sind alle Harmonischen der Fourier-Näherung in zwei Teile unterteilt: die Grundharmonischen des Prozesses und die Harmonischen von Ereignissen. Es ist wichtig zu bedenken, dass die Summe der Grund- und Ereignisharmonischen eine angemessene Annäherung an die ursprüngliche Reihe ergibt.
In diesem Fall reicht es für eine gute Prognose aus, die Grundzyklen zu kennen und eine Liste von Ereignissen und Umständen zu haben, nach denen eine fortlaufende Prognose auf der Grundlage erwarteter oder bereits eingetretener Ereignisse oder ihrer Ketten erstellt werden sollte. Dies ist jedoch eine etwas andere, nicht traditionelle Prognosetechnologie.
Die folgenden zwei Methoden zum Fixieren von Fourier-Ereignissen sind methodisch gerechtfertigt.
Die erste Methode ist mit der Subtraktion aller möglichen Kombinationen von Harmonischen, die sich ihr annähern, von der vollständigen Zeitreihe und dem Vergleich bekannter Ereignisse mit den resultierenden Extrema oder stabilen Abweichungen verbunden. Da es in fast allen Branchen analytische Unternehmen gibt, die Statistiken sammeln und Trends überprüfen (in einigen Branchen sogar wöchentlich), ist es nicht schwierig genug, wichtige Ereignisse für ein Datum zu finden.
Die zweite, nennen wir es die Aufteilungsmethode, ist mit der Aufteilung der gesamten Zeitreihen in Perioden unterschiedlicher Länge und der Suche nach „ähnlichen“ Perioden durch vergleichbare Harmonische verbunden. Mit dem beschriebenen Ansatz zur Fourier-Näherung kann eine solche Aufgabe vollständig automatisiert werden.
Die Aufteilungsmethode unterscheidet sich qualitativ von der ersten Methode, da es eine anfängliche Operation gibt, die für die gesamte Aufteilung nichtlinear ist, um ihren Trend (lineare Regression) von jeder Komponente der ausgewählten Aufteilung zu trennen.
6. Datenanalyse für Ölpreise durch Fourier-Ereignisse
Betrachten Sie zum Beispiel die Ölpreise Europe Brent Spot Price FOB. Quelle: Thomson Reuters. US Energy Information Administration. Thomson Reuters. Die Daten sind vom 20. Mai 1987 bis zum 10. November 2020 täglich in US-Dollar angegeben.
Ursprüngliche Zeitreihen.
Wir wählen eine trendlineare Regression.
Wir löschen die Anfangsdaten aus dem Trend (ein linearer Trend kann immer wiederhergestellt werden).
Blauer Graph - Rohdaten. Schwarz ist ein Trend. Orange - normalisierte Daten (kein Trend).
Finden Sie eine Annäherung.
Bisher ist nicht alles sehr gut: Die 8. und 20. Harmonische für eine solche Serie werden klein sein.
Für 30 Harmonische ist das Ergebnis durchaus akzeptabel.
Fahren wir mit der Methode zum Isolieren von Fourier-Ereignissen fort. Lassen Sie uns einen der Ansätze für den Fall der Approximation der ursprünglichen Reihe durch die 8. Harmonische veranschaulichen.
Finden Sie alle möglichen Kombinationen von 8 Harmonischen. Es werden 255 von ihnen sein. Für jede der 255 Kombinationen berechnen wir den Absolutwert aus der Punktdifferenz zwischen der ursprünglichen Zeile und der Struktur (Zeile), die durch eine bestimmte Kombination von Harmonischen erzeugt wird.
Für eine neue Reihe berechnen wir das Maximum, die Standardabweichung und die Gesamtsumme der Werte (möglicherweise müssen andere Indikatoren berechnet werden: Mittelwert usw.).
In den Figuren sind diese Indikatoren nacheinander dargestellt. Sie entsprechen den ersten hundert Werten, sortiert in absteigender Reihenfolge des Maximums.
Betrachten wir die ersten 60 der ausgewählten 100. Und dann werden wir (visuell) interessante auswählen. Die Grafiken sind unten dargestellt. Die Zahl unter dem Bild entspricht der Ordnungszahl der Kombination von 255. Die graue Grafik ist die ursprüngliche Reihe, die rote Reihe stammt aus der Kombination der Harmonischen.
Was als "interessant" gilt, ist eine sinnvolle Aufgabe für ein Unternehmen. Alles, was bisher dort war, ist nur Standardtechnik.
Was ist am Ende passiert? Aus dem Satz von Harmonischen, die sich der ursprünglichen Reihe gut annähern, haben wir Kombinationen ausgewählt, die in einigen Bereichen sehr gut der ursprünglichen Zeitreihe entsprechen und in anderen eine deutliche Diskrepanz aufweisen. Nur die letzten Websites sind Kandidaten für die Analyse von Ereignissen, die in diesem Zeitraum stattgefunden haben (alle Diagramme sind täglich mit einem expliziten Datum).
Darüber hinaus bietet das Vorhandensein von Bereichen mit sehr gut benachbarten Graphen eine Grundlage für die Ableitung der Merkmale der "Norm" für die Dynamik der reflektierten Prozesse.
Ziel der Analyse ist es, Oberschwingungen zu identifizieren, die Ereignissen entsprechen. Das umgekehrte Problem ist die Auswahl grundlegender zyklischer Prozesse.
Die Aufteilungsmethode ist wichtig, da der durch eine Zeitreihe dargestellte Prozess im Wesentlichen zusammengesetzt sein kann und von Ereignissen höherer Ordnung abhängt: einer globalen Krise usw.
7. Fourier-Ereignisse in der Cashflow-Analyse
Der Prozess der Analyse einer Zeitreihe ist mit der Erwartung verbunden, dass zyklische Prozesse sie dominieren. Im Allgemeinen werden solche Erwartungen möglicherweise nicht erfüllt. Der Punkt ist nicht einmal, dass es keine solche Dominanz der Zyklizität gibt. Einfach aufgrund der besonderen Art und Weise, in der die Zeitreihen gebildet werden, ist es möglicherweise nicht möglich, die Zyklizität in dieser bestimmten Reihe zu identifizieren.
Der Cashflow ist eine andere Sache. Tatsächlich sind die meisten Prozesse in Bezug auf Produktion und Handel zunächst zyklisch in der Art und Weise, wie sie gebildet werden. Abweichungen von der Norm sind mit Ereignissen verbunden, die diese Zyklizität stören. Die Verwendung der Fourier-Ereignismethode bei der Analyse des Cashflows ermöglicht die Identifizierung einer objektiven „Norm“ sowie von Indikatoren für Abweichungen.
In Bezug auf Fourier-Ereignisse ist das Problem der Cashflow-Analyse für die Anwendung künstlicher Intelligenz und neuronaler Netze (maschinelles Lernen) gut algorithmisch.