- Gerät eines Protokollclusters, mit dem wir verstehen können, was mit Zahlungen und Transaktionen (sowie mit Komponenten und Diensten im Allgemeinen) geschieht;
- die Arbeit von Dateningenieuren beim maschinellen Lernen;
- Implementierung und Transformation von CI / CD.
Wir teilen wertvolle Erfahrungen, damit Sie unsere Fehler nicht machen. Wir hoffen, dass es nützlich sein wird!
Unser Rechen ist der Schlüssel zu Ihrem Erfolg
Maxim Ogryzkov, Senior System Administrator
Der Bericht konzentriert sich auf die Verarbeitung von Protokollen aus mehreren Rechenzentren mit Zugriff über eine einzige Schnittstelle. Lassen Sie uns die Gründe und Konsequenzen des Cluster-Upgrades diskutieren. Ich erzähle Ihnen vom Transport der Lieferung von Protokollen aus verschiedenen Systemen und Umgebungen und wo hat Apache Kafka damit zu tun? Und auch, warum wir kein Logstash verwenden und wie man einen Cluster mit einer Anfrage in Kibana "anhängt".
1:17 Worum geht es in der Diskussion: ein Cluster von Protokollen
1:43 Wie gelangen Protokolle in einen Cluster?
3:50 Warum haben wir uns für Apache Kafka entschieden ?
5:02 Rsyslog: Vorteile der Verwendung von
9:00 Wo werden Protokolle von verschiedenen Domänencontrollern gespeichert?
12:08Was ist, wenn die Datenmenge zu groß ist?
14:00 Cluster-Update.
20.30 Unsere Rechen und Lösungen
22.35 Translog
24:25 Bulk - Anfrage
26:28 Opendistro-Perfomance-Analysator
28:28 Index Shrink
29:49 Librdkafka
31:37 Zusammenfassung: was unser Cluster sieht nun
Dateningenieure im maschinellen Lernen
Evgeny Vinogradov, Leiter der Abteilung Data Warehouse Development
Eine Geschichte darüber, wie die industrielle Arbeit an Experimenten in ML aussieht - welche Probleme auf Modellebene gelöst werden und welche nur auf Datenebene und wie ein kontrollierter Lernprozess sichergestellt werden kann.
1:40 Über den Sprecher
2:41 Wer ist an DS-Projekten beteiligt?
8:30 Was ist ein Data Science-Projekt?
14:15 Die Reihenfolge der Aktionen im DS-Projekt
15:42 Der Prozess des Sammelns des Datensatzes
20:26 Wie alles in Apache Kafka
funktioniert 29:10 Was passiert nach dem Sammeln des
Datensatzes 29:21Wie wähle ich ein Modell aus?
30:40 Beispiele für Probleme, die ein
Dateningenieur lösen kann 34:38 Auf welchen Technologien funktioniert das alles?
35:03 Schlussfolgerungen des Berichts
CI / CD für Dateningenieur: Hin- und Rückfahrt
Anton Spirin, Senior Developer von BI
Report über die Umsetzung von CI / CD-Prinzipien in der BI-Entwicklung, Ziele, deren Transformation und Überwindung von Schwierigkeiten.
2:00 Anfrage zum Sprecher
2:44 Beschreibung des Problems
4:28 Wer ist ein Dateningenieur?
5:43 CI / CD - Was ist die Aufgabe eines Ingenieurs?
6:55 Mehr über die Stapel- und Informationssysteme
8:00 Ausgangspunkt: Wo wir angefangen haben
10:34 Die erste Phase der Änderungen
15:50 Alles scheint gut zu sein, aber ... die zweite Phase der Verbesserungen
19:01 Fast Demo: JenkinsFile, Pipelines
20:44 Was haben wir am Ausgang bekommen?
22:43 Wie lange hat es gedauert? Veröffentlichungsstatistik
23:37 Unsere Herausforderungen und was hätte anders gemacht werden können. Zukunftspläne
Alle Berichte von der großen IT-Konferenz YuMoneyDay . Materialien zu PM, Tests und mobiler Entwicklung sind unterwegs.