Hintergrund
In den letzten Jahren wurde der Markt für Überwachungssysteme unter dem Akronym AIOps bewegt. Alle Anbieter haben begonnen, künstliche Intelligenz in ihren komplexen und teuren Systemen einzusetzen. Die Begriffe „Ursachenanalyse“, „Korrelation“, „ML-Tools“, „Anomalieerkennung“, „Vorfallvorhersage“, „Rauschunterdrückung“ sind gründlich und wahrscheinlich für immer auf Marketingmaterialien und Websites verschiedener Überwachungssysteme festgelegt.
Wie wir wissen, sind Werbebroschüren eine Sache, aber der technische Alltag eine andere. Wahrscheinlich waren viele mit einer Situation konfrontiert, in der die Versprechen von Verkäufern bestimmter technologischer Innovationen, wie der Titanic mit einem Eisberg, mit der Praxis der Implementierung kollidierten, insbesondere in der komplexen IT-Umgebung großer Unternehmen. Daher habe ich zunächst mit großer Skepsis geschaut und die Aufregung um dieses Thema nicht geteilt. Besonders wenn es solche Stahlbetonlösungen wie Zabbix, Prometheus und Elastic gibt. Aber Hype Hyip, Skepsis Skepsis, und wir sind immer noch Ingenieure und sollten alles in der Praxis überprüfen und studieren und uns nicht fragen, ob wir an den „magischen Knopf“ von namhaften Anbietern und vielversprechenden Startups glauben oder nicht. Und so versammelten wir nach einer weiteren Präsentation des Integrators und dem Versprechen für viel Geld "Himmel auf unserem sündigen Land der Betriebsingenieure" eine kleine Initiativgruppe,die beschlossen haben, zu „fühlen“, worum es bei dieser Magie der künstlichen Intelligenz und des maschinellen Lernens in unserer Praxis geht. So entstanden Materialien und sogar ein kleines Haustierprojekt, das ich gerne mit Ihnen teilen möchte.
— , . . - . : -. — “ ”, .. , “ ”, . — “ ”.
ML- . , . - , .
. HTTP- . “”, . , downdetector , , , ;)
2020-10-14 14:00 +03:00 38 ( ), .. [2020-10-12 23:00:00 +03:00 – 2020-10-14 14:00 +03:00]. : 3612.
(threshold), , 0, 1, 179 . (. . 1: . UTC. ,
).
. 1. . UTC. , — .
, 3- , 44 (. . 2). 4 . “0110010011101010…”, , , % ( 1 ), - .
. 2. 3- . , — .
“” : - , . - , . , AI/ML.
ML?
, , Data Scientist . , , -, , 3- :
- . — , .
- , , , .
- , , "" . .. " " , , .
DetectIidSpike ML.NET. : . , . "" , . .
DetectIidSpike :
- confidence — [0, 100]. , , , , ;
- pvalueHistoryLength — p-value. - " ", .
, . HTTP- , .. . . - . , .. 5 : . , , .. . (, ), "", .
“”. , , , (), «» ( ). 5 . , websockets , . , ( kubernetes ).
(confidence: 95, pvalueHistoryLength: 5), 36 . , , .. . , 24 . (, ).
. 3. (confidence: 95, pvalueHistoryLength: 5) , —
(. 3), , . , , ( ).
. 4 pvalueHistoryLength=12 confidence: 98. : 14 .
. 4. (confidence: 98, pvalueHistoryLength: 12)
, DetectIidSpike (24 44) 3 , 7,5 (24 179) . , , . , ML . , :)
P.S.: ML, -, . .
PPS: Im Folgenden werde ich einige weitere Screenshots aus unserem Haustierprojekt mit den tatsächlichen Daten der durchgeführten Überprüfungen und den generierten Anomalien geben. Sie können sehen, wie effizient oder ineffektiv (für wen wie) der Algorithmus funktioniert (gelber Kreis - Anomalien im ausgewählten Intervall).
