Ich habe einmal als Dateningenieur bei einem Startup gearbeitet. Er wuchs schnell und entschied sich irgendwann, eine große Firma zu kaufen. Es waren mehr als hundert Angestellte dort - es stellte sich heraus, dass fast alle aus Indien stammten. Während unsere Entwickler an exotischem Code bastelten, der nicht sofort entschlüsselt werden konnte, erregte die indische Überwachungsabteilung meine Aufmerksamkeit.
Zur Überwachung des Netzwerks und der Server können Sie eine Vielzahl von Software verwenden. Die Hauptsache ist, sicher zu sein: Wenn etwas schief geht, funktioniert eine Warnung. Sie sehen eine Benachrichtigung und haben Zeit, alles zu reparieren. Sie hatten auch ihre eigene Idee der Überwachung. Stellen Sie sich mehrere Räume mit Tischen, Stühlen und riesigen Plasmen an den Wänden vor, in denen fast zwei Dutzend Menschen sitzen. Auf jedem Monitor werden mehrfarbige Grafiken angezeigt und daneben Papierstücke mit Telefonnummern aufgeklebt.
Die Aufgabe dieser zwanzig Personen bestand darin, sich die Karten anzusehen und sie anzusehen. Wenn sich herausstellte, dass sich die Linie plötzlich über dem daneben aufgeklebten Aufkleber befand, rufen Sie die dort geschriebene Telefonnummer an und schlagen Sie Alarm. Hier saßen sie und sahen zu, ohne anzuhalten.
Der Kauf des Unternehmens war kostengünstig, aber die Wartung einer solchen Infrastruktur kostete exorbitantes Geld. Die Indianer nutzten die teure Vertica, wo sie neben der Bezahlung der Hardware auch eine Lizenz lösen mussten. Wir haben uns entschlossen, zu ClickHouse zu wechseln. Es ist praktisch ein freies Analogon von Vertica. Beide Produkte arbeiten nach einem ähnlichen Prinzip: Spalten-DBMS mit Sharding und Datenpartitionierung.
Und das war ein weiteres Abenteuer.
ClickHouse Killer-Funktion - natürlich um Geld zu sparen
, . ClickHouse . ClickHouse, , (, PostgreSQL) .
ClickHouse , : DoubleDelta ! ClickHouse , MergeTree.
, , HDFS , ClickHouse 700 , . , «» SQL- - ClickHouse, , , .
— . , , ClickHouse «» . : TSBS , , — . — http- , Rest .
ClickHouse , , , , . , . — , , . .
, , , ?
, , , .
. -, , . , , , , . SDK . PHP JSON , MySQL. , — .
( ), . - Hadoop, HDFS . . : JSON-, Hive. .
Hive, , . JSON-. HDFS Hadoop - . . , , . ! , , — . . , , , Spark , . , , , , RDD .
, - - . HDFS , — .
, . , , , , Java, - . Scala, , !
ClickHouse. , C++. , , , . Scala, TCP, Native , .
— HDFS. Kafka, , Kafka ClickHouse. HDFS , : HDFS .
- ClickHouse. , , .
ClickHouse — ,
, ClickHouse production-ready , , , , DWH .
, , « » - Hive MySQL, ClickHouse – - , - JOIN - ..
, , , . , . , – , .
, . , , .
, UUID, :
```
SELECT * FROM db PREWHERE uuid != '00000000-0000-0000-0000-000000000000'
```
segfault.
. -! , GitHub, Issues, .
, ClickHouse
Hive , . Tabix. , ClickHouse . . Redash - ClickHouse.
Redshift. - ClickHouse Redshift (, , SQL ). — , Redshift, ClickHouse. , Redshift — 30 . ClickHouse Redash.
, ClickHouse Tableau 70 !
Tableau — . , ClickHouse . PostgreSQL. - , PostgreSQL . ClickHouse PostgreSQL Tableau! . PostgreSQL. .
. Tableau — , , SQL , . . 70 .
Tableau . , ClickHouse . . , Tableau - ClickHouse. !
Redash Tableau — . , ClickHouse — . , - , Tableau.
ClickHouse — . , . .
, , — . , , ClickHouse.
, - , . — Vertica Redshift .