Eine Reihe von Problemen, die 16 Jahre dauern

Vor nicht allzu langer Zeit, zu Beginn dieses Jahrtausends, an einem kalten Novembertag im Jahr 2004, setzte ich mich hin, um einen Serveremulator für ein Online-Spiel zu schreiben. Es wurde sehr gut für mich geschrieben, auf ansprechendem C # und .Net Framework Version 1.1. Ich habe mir keine besonderen Ziele gesetzt und relativ wenig Erfahrung. Aus irgendeinem Grund schätzte die Community dieses Handwerk (vielleicht weil es vor dem offiziellen Start des Hauptspiels erschien?) Und nach einigen Monaten war ich mit einem explosiven Online-Wachstum und gleichzeitig ernsthaften Leistungsproblemen konfrontiert. Das Projekt lebte mehr als 6 Jahre und erreichte spürbare Höhen (2500 online auf dem Höhepunkt, etwa 20.000 MAU) und ruhte sich dann in der Bose aus. Und jetzt, nach anderthalb Jahrzehnten, entschied ich mich, mein eigenes MMO-Spiel zu entwickeln, das auf denselben „bewährten“ Entwicklungen basiert, und sah mich ähnlichen Problemen gegenüber, obwohl sie bereits einmal von mir gelöst worden waren.



PS Beim Schreiben dieses Artikels wurde keine einzige IP beschädigt , das ursprüngliche Projekt, obwohl es mit dem Geist der Piraterie gesättigt war (kostenloser Server eines kostenpflichtigen Spiels!), Keine Rechte verletzt, der Code des Copyright-Inhabers wurde dort nicht verwendet, und der Server basierte ausschließlich auf der Recherche eines ehrlich gekauften Spieleclients und Sounds Sinn des Entwicklers. Dieses Werk erzählt nur von den Herausforderungen, mit denen der Autor konfrontiert war, und den ursprünglichen Lösungsmethoden, sowohl im alten als auch im modernen Projekt. Ich entschuldige mich im Voraus für den Erzählstil der Geschichte, anstatt nur die Fakten aufzulisten.

Einführung

Sie können so viel argumentieren, wie Sie möchten. Net ist nicht für Server gedacht, aber es schien mir damals (und heute) eine sehr vernünftige Idee zu sein, dass Sie Logik in Form von Skripten schreiben, kompilieren und unterwegs laden können, ohne zu viel über Speicherzuweisung und Assemblierung nachzudenken Trümmer, Zeiger und mehr. Auf diese Weise können Sie das Scripting der Geschäftslogik an weniger qualifizierte Entwickler delegieren und sich nur auf die Codeüberprüfung beschränken. Dafür müssen Sie jedoch sicherstellen, dass der Kernel selbst fehlerfrei funktioniert und sowohl 2004 als auch 2020 zwischen 10 und 15 Uhr online ausfällt.

Im Jahr 2004 drehte sich alles unter Windows Server 2003, .Net 1.1, MSSQL 2000. Der Server und das Hosting wurden vom Wnet-Anbieter bereitgestellt, und dann wurde ein neuer Server mit Spenden von Spielern erstellt. Das Projekt war nicht rein kommerziell und einige minimale Einnahmen aus Bannern und Premium-Konten wurden für Upgrades verwendet.

Der moderne Server läuft auf Mono unter Debian im .Net 4.7-Kompatibilitätsmodus mit MariaDB für Daten, die in der Hetzner-Cloud gehostet werden. Schon lange gibt es keinen solchen Idealisten mit brennenden Augen, der glaubte, dass Spiele kostenlos sein sollten, und die Spende und der Verkauf von Spielgegenständen töten alle Interessen. Jetzt ist dieser Charakter ziemlich grau geworden, hat seine Begeisterung für Erfahrung geändert und ist überzeugt, dass ein Startup sowohl Freude als auch Einkommen bringen sollte.




Aber in der Geschichte geht es nicht darum, sondern um selbstgeschriebene Server und ihre Probleme.

Kapitel 1. Pestilenz

. , , , . , , . , , . Visual Studio, - , . EventLog .



— , Console.Out Console.Error. UnhandledExceptionHandler, . AutoFlush = true, , .



cmd — , . , , , - — , . - — .Net >> log.txt.



UnhandledExceptionHandler : OutOfMemoryException ( ), StackOverflowException Unmanaged . , — Access Violation - OOM.

Access Violation — ZLib ( ICSharpCode.SharpZipLib), OpenSSL ( SRP-6), MySQL ( System.Data MSSQL ).



, Socket.BeginReceive . .Net Thread Pool ( , IO Threads) , UnhandledExceptionHandler. , BeginReceive->EndReceive->BeginReceive , BeginReceive .

All dies verbesserte das Bild erheblich und der Server stürzte viel seltener ab, meistens erst, wenn der Speicher knapp wurde.

Im Jahr 2020 war die Serveranwendung im Prinzip nur eine Konsolenanwendung, die unter Linux auf einem separaten Bildschirm ausgeführt wurde. Es gab keine weiteren Optionen zum Starten unter Visual Studio, aber der Logger wurde im Laufe der Jahre sehr fortschrittlich, UnhandledExceptions wirkten wie Hasen im Netzwerk und es gab im Prinzip keinen nativen Code. Dies hat Sie jedoch nicht vor Abstürzen mit OOM und StackOverflowException bewahrt. Die Stapeltiefe bei StackOverflowException hat sich verzehnfacht, Hunderte von Kilobyte Protokoll mit Nachrichten desselben Typs gefüllt und es abgelehnt, eine normale Stapelverfolgung zu schreiben. In jedem Fall war es durch die Umleitung zu >> log.txt schnell möglich zu verstehen, wer wo schuld ist. Der Telegramm-Bot half separat und signalisierte, dass der Serverprozess beendet war.



Dann war es nur noch eine Frage der Technologie. Die Untersuchung der Protokolle zeigte, dass sich der Stapelüberlauf nicht im Kern, sondern in der Geschäftslogik manifestierte: Die Rakete kollidierte mit einer anderen Rakete oder Mine, sie detonierten, dies löste die Detonation der ersten Rakete aus und so weiter in einem Kreis. Alles in allem ist dies ein normaler Arbeitsmoment, aber dann fühlte ich ein seltsames Déjà Vu, das gegen längst vergessene Dämonen der Vergangenheit kämpfte. Und dann trat eine neue (oder längst vergessene alte) Ursache der Pest auf - ein Mangel an Ressourcen.

Kapitel 2. Freut mich

— 256 , ! - , , , , — , OOM - . , — Visual Studio ( , ), WinDbg (), - dotTrace (). , . — , 1.7, . . 100%. , , , — ~100 . Maoni Stephens Rico Mariani GC, LOH (Large Object Heap) .Net. , (pin) , Gen 2, — LOH, . — , , , (, .Net 1.1 Generics!). — , - , . Marshal.AllocHGlobal ( - , ). , , . , , , 100% CPU - . Interop WSASend/WSAReceive ( Windows , .Net) . - , .Net : BeginSend/BeginReceive , , 100% CPU.



, , , , , . , - 100% , !



, 2005 Workstation GC Server GC .Net 2.0 Preview. — , GC , 5-10% CPU.



, , Thread Pool Net 1.1 Workstation GC , ( !) ( 100% ).

BeginSend/BeginReceive Windows IOCP . , , , OOM 100% .

Ein moderner Server mit weniger als 4 GB Arbeitsspeicher verursacht ein Grinsen, und Sie können mit nur wenigen Klicks und einem Neustart zusätzliche 8-16 Gigabyte für eine Cloud-Lösung hinzufügen. Als der Speicher zu lecken begann und die Prozessorlast auf 100-150% stieg (basierend auf 800% für 8 Kerne), fühlte ich mich wieder wie ein 20-jähriger Student, der Gigabyte und Gigaflops in der Feuerbox einer gefräßigen Maschine verbrannte. Es war seltsam, nicht normal und dumm. Es war besonders unangenehm, dass das Spiel nach wie vor normal lief (wenn auch mit Verzögerungen), aber nichts wurde unterbrochen. Nun, bis die Erinnerung erschöpft war, natürlich.



Im Laufe der Jahre gelang es Lightweight Threads (auch bekannt als Fibers), zu erscheinen und zu verschwinden, wodurch wir keinen Zugriff mehr auf System-Threads in .Net haben, sondern nur auf die sogenannten. Verwaltete Threads und unter Mono gibt es immer noch keinen Zugriff auf ProcessThread - es gibt nur Stubs im Inneren. Die Diagnose von Threads wurde viel komplizierter, aber jetzt habe ich meinen eigenen Thread-Pool verwendet. Alle Threads wurden berechnet und benannt. Für jeden von ihnen wurden genaue Statistiken geführt, welche von ihnen derzeit ausgeführt werden und wie lange eine bestimmte Aufgabe dauert. Aus diesem Grund stellte sich schnell heraus, dass die Probleme jetzt in meinem Code und nicht im System liegen, und die Thread-Statistiken zeigten, dass der zhor mit der Ausführung der Geschäftslogik verbunden ist. Nur einige Aktionen werden 100-mal häufiger ausgeführt, als sie sollten. Jetzt war ich nicht auf Ressourcen beschränkt,Daher versorgte ich den Aufruf jedes Skripts und Timers ganz ruhig mit zusätzlicher Protokollierung, maß die Ausführungszeit jedes Ereignisses und konnte in einer Woche voller Experimente sicher sagen, wo das Problem lag. Es stellte sich heraus, dass ein bestimmter NPC versuchte, einen anderen NPC anzugreifen, und beide in Steinen steckten, so dass sie sich nicht bewegen konnten und ihre Versuche, aufeinander zu schießen, aufgrund des Mangels an Sichtlinie sofort unterbrochen wurden. Gleichzeitig versuchten sie bei jedem Zyklus der Berechnung des Verhaltens (15 ms), den Pfad zu berechnen, zu schießen, aber aufgrund der Unmöglichkeit des Schießens wurden die Waffen nicht nachgeladen und der nächste Zyklus wurde wiederholt. Für mehrere Tage des Spiels wurden Hunderte solcher NPCs rekrutiert und sie verbrauchten schließlich alle Ressourcen des Servers. Die Lösung bestand darin, das Verhalten zu korrigieren und festsitzende Situationen zu reduzieren und gleichzeitig eine kurze Nachladezeit auch für erfolglose Aufnahmen.



Und dann fing der Server an zu frieren.

Kapitel 3. Kalt

Der Herbst 2005 war nicht einfach - ich hatte eine ungewisse Situation mit meiner Arbeit, die Wohnungsmiete verdoppelte sich plötzlich. Ich war nur mit dem Spieleserver zufrieden - es waren bereits Hunderte online, aber dort begann auch das Problem - die ganze Welt begann zu frieren. Im besten Fall liefen die Pings weiter oder einige Timer arbeiteten. Und manchmal fror alles ein, der Datenverkehr wurde gestoppt und Sie mussten die Serveranwendung beenden und erneut starten. Nach wie vor war es aufgrund des erheblichen Verbrauchs und der Bremsen unmöglich, eine Verbindung mit einem Debugger zu einem laufenden Server herzustellen. Aus irgendeinem Grund stürzte Visual Studio einfach ab oder frierte ein.



— , . , - . , - . SOS.dll. Son Of Strike WinDbg .Net , , . , .Net GC. - sos.dll 50. , , , . , — deadlock!



, . — . — , , , , ! , . SpinLock try/finally . , , — , SpinLock , , , , , . 8 , . , : , , “ ”. , . , , — .



, , Xeon 5130x2 8 . 2000, 2500, . , , , , -, . .

An einem der kalten Oktobertage des Jahres 2020 wurde die geplante Ankunft von Live-Streamern unterbrochen, da der Server plötzlich einfror. Die Autorisierung funktionierte, aber es war unmöglich, die Welt zu betreten, der Telegramm-Bot schwieg. Eine schnelle Suche nach Problemen ergab nichts in den Protokollen, es gab keine Speicherprobleme und keiner der Threads hungerte. Es hörte einfach auf. Nachdem ich mehrmals etwas über eine Katze aus der Matrix und eine Frau mit unanständigem Verhalten laut gesagt hatte, machte ich mich auf die Suche nach einem Deadlock. Nachdem Microsoft Miguel de Icaz und Xamarin gekauft hat, ist die Mono-Dokumentation ein erbärmlicher Anblick - sie ist da, aber nicht aktuell oder führt nirgendwo hin. Zum Beispiel 3/4 der Daten von der Seiteüber das Debuggen in Mono mit GDB ist nicht anwendbar und funktioniert nicht. Ich konnte über gdb eine Verbindung zum eingefrorenen Server herstellen, aber die Befehle mono_pmip und andere gaben unverständliche Antworten, hauptsächlich über Syntaxfehler. Durch ein Wunder wurde mir klar, dass gdb möchte, dass ich die Parameter und das Ergebnis von mono_ * -Befehlen in bestimmte Typen umwandle, und so konnte ich eine Liste von Threads erhalten, die beim Cross-Blocking eingefroren wurden. Die Zahlen in der Liste stimmten jedoch weder mit dem Befehl ps noch mit der ManagedThreadId vom Server überein. Die erweiterte Protokollierung, mit der ich festgestellt habe, dass der Prozessor brennt, hat mir sehr geholfen. Daraus konnte ich erkennen, welche Pakete und Timer zuletzt ausgeführt wurden, und der Kreis der Verdächtigen wurde allmählich enger. Als Übel war Cross-Blocking nicht mit zwei Threads, sondern mit drei, so dass es nicht möglich war, ein detaillierteres Bild zu erhalten.Dann erinnerte ich mich an den alten Rechen und fing an, den Code für die Verwendung von Schlössern zu überprüfen. Wie sich herausstellte, wurden im Laufe der Jahre mehrere Refactorings durchgeführt, und SpinLock wurde schrittweise durch Monitor.Enter / Monitor.Exit und häufig durch eine einfache Sperre ersetzt. Und dann fiel mir plötzlich etwas aufEric Gunnersons Artikel , der besagt, dass Sie es viel einfacher machen können: Verwenden Sie Monitor.TryEnter überall mit einer Zeitüberschreitung. Wenn die Blockierung fehlschlägt, lösen Sie eine Ausnahme aus. Dies ist eine unglaublich einfache und sehr effektive Methode. Wenn der TryEnter-Aufruf irgendwo länger als 30 Sekunden gewartet hat und ausgefallen ist (und solche Verzögerungen nicht für die Logik charakteristisch sind), muss dieser Ort untersucht und überprüft werden, wer so lange hätte dauern können und das Sperrobjekt nicht erhalten hat. Als ich Asche auf meinen Kopf streute, wurde mir klar, dass ich vor 15 Jahren alles auf diese Weise hätte aufräumen können. Es war nicht notwendig, das Rad neu zu erfinden, um die „Tiefe des Lochs“ zu berechnen. Aber vielleicht war es dann das Beste.



Nun, dann kam der 4. Fahrer zu einem neuen Projekt, wie einmal zu einem Emulator. Nur hatte er keine Zeit, populär zu werden. Das Vorhandensein von bis zu drei kritischen Problemen zu Beginn des Projekts warf ihn jedoch schnell um. Und das Spiel war überhaupt nicht Mainstream. Dies ist aber auch kein Thema für diesen Artikel.



PPS Der Artikel verwendet Illustrationen eines unbekannten Künstlers Parsakoira mit der Signatur „ChoW # 227 :: VOTING :: 4 Horsemen of the Apocalypse“, vermutlich von der bereits verstorbenen Website conceptart.com:

https://www.pinterest.com/pin/460141286926583086/

https : //www.pinterest.com/pin/490681321879914768/