Dieser Artikel ist keine Antwort auf viele Fragen zu Datenbanken (DB) und Datenbankverwaltungssystemen (DBMS). Als Autor drücke ich meine eigene Meinung zu Trends aus und versuche, mich auf unparteiische Indikatoren, Statistiken usw. zu stützen, nenne aber meine eigenen Erfahrungen als Beispiel. Ich bin kein engagierter Vertreter eines Unternehmens und drücke meinen Standpunkt aus, basierend auf meiner Erfahrung aus mehr als 25 Jahren Arbeit mit verschiedenen DBMS, einschließlich eines, das ich mit meinen eigenen Händen erstellt habe. Es gibt nicht so viele erfahrene Programmierer und Architekten, die alle Begriffe, Technologien, Fallstricke und die Richtung der Bewegung kennen. Das Thema ist wirklich riesig, so dass selbst die oberste Informationsebene nicht in einem Artikel veröffentlicht werden kann. Es sei denn, jemand stößt auf sein Lieblings-DBMS oder sein unglaubliches Plus, das es wert ist, erwähnt zu werden.dann bitte ich Sie, in den Kommentaren anzugeben und damit das Gesamtbild zu ergänzen, was anderen hilft, den Themenbereich zu verstehen und besser zu verstehen. Gehen!
Open Source DBMS vs Commercial DBMS
Zunächst werde ich ein Diagramm von der Website db-engines.com geben. Meiner Meinung nach ist es gut, Datenbanktrends zu verfolgen. Es war diese Grafik, die den Wunsch weckte, einen Artikel über den aktuellen Stand der Dinge zu schreiben. Wenn wir den Ausdruck "Datenbank" sagen, meinen wir tatsächlich oft ein bestimmtes Datenbankverwaltungssystem (DBMS). Wenn der Text also eine DB anstelle eines DBMS enthält, liegt dies an einer solchen Gewohnheit.
Open Source DBMS - Open Source Datenbankverwaltungssysteme haben kommerzielle Closed Source DBMS eingeholt. Open Source 49,98% gegenüber 50,02% für kommerzielle Zwecke. Das Ergebnis von 2020 ist der Moment, in dem man sagen kann, dass Open Source nicht weniger beliebt ist. Wie Sie sehen können, trat diese Situation nicht plötzlich auf. Die Berechnung in der Grafik erfolgt nicht in einem numerischen Verhältnis, sondern in Punkten, die von bestimmten Systemen erhalten werden.
. Microsoft Access , COBOL , . , IBM DB2 . 10 – 75% . 10 .
Open Source , , Oracle, MS SQL, IBM DB2 , . . enterprise licenses ( ) . , 4 16 - 64 .
MS SQL - 439 936$
Oracle - 1 368 000$
, , , , , . .
2019 2020 AMD , EPYC, , , . AMD 64 - . ? . . AMD , Oracle, Microsoft . Microsoft SQL Server Linux, . IBM DB2 .
( « ») , , Open Source . .
, . , : (Microsoft), (Oracle), . 10 Forbes , (Amazon RDS), (Google Bigtable).
open source . , , , . , , , , , , . , .
MySQL open source 1 .$, Sun Microsystem, Oracle. MySQL MariaDB. , . MariaDB 12 .
, , , , , , . open source , , Facebook c MySQL. open source , . 10 SQLite - . -, .
: , 70-80 , Oracle, , , , .. .
, , . () ( ), . , – , , . open source. ClickHouse, Tarantool, PostgreSQL .., . . , , , « ».
open source . , Oracle . « » Open Source. , , PostgreSQL, MySQL, SQLite, MongoDB .
, open source commercial, online , , .. online vs. offline.
online offline
2 , - , - . .
, , , ( ) ( ), Windows . WISA (Windows, IIS, MS SQL, ASP.Net). WISA, , StackOverflow. , LAMP (Linux Apache MySQL PHP). , , Windows . .
, . , , .. ( ) , ERP, CRM SAP, Microsoft Dynamics NAV AX, 1C . , , Oracle, MS SQL, IBM DB2.
10 , 2 Microsoft Alphabet (Google). . . , .. 2020 .
. , , , . 113 . 20. open source , . - () , open source. , , .
- online . , .
, . RDBMS – . ¼ , .
, MS SQL(Oracle) MongoDB, Redis, MySQL, ClickHouse, ElasticSearch ..
:
Relational: , . 2- , . . 2 – (Key). , , SQL (Structured Query Language), . . 2- .
Document stores:
, . . , . MongoDB – JSON (Java Script Object Notation). BSON (Binary JSON), , .
( )
.
Key-Value : NoSQL - , - . , , . – Redis. , . , . , , . , 1 IP . IP, +1. , (). TTL X .
Search Engines: – . c ID (, , ..) , , , . . , , , , , , , . ElasticSearch , ELK (. ) ElasticSearch+Logstash+Kibana , , .
Wide column stores: Key-Value . , . .
– Cassandra, HBase.
Graph : , , . () (). .
(), - () . ,  —  , . 18 , . - Neo4j.
Columnstore
db-engines , , . , . , , . , . ClickHouse, Vertica. ClickHouse.
ClickHouse . , .
Multi-model databases
, . , , . «multi-model». multi-model NoSQL . - , .
SQL vs NoSQL
NoSQL 10 2009 « ». , + SQL NoSQL, , . . , , . , , , , , , , .. . , , , , , ..
, , 10 .
, 0- 1 Gb , . 100-200 .
SQL 10 100 . , , , , , . , . , .
, NoSQL , , SQL, . , NoSQL - , , .
NoSQL . .
A SQL – Structured Query Language – ? 1970- , , . , (features - ), SQL, , , SQL. SQL , . , NoSQL , SQL. , MongoDB Studio3T, SQL MongoDB, MongoDB SQL . ClickHouse Tarantool ( ) SQL . NoSQL SQL, , join-, , NULL ..
Cloud DBs vs DBs
Gartner 5 2 .
BPaaS IaaS. . AWS , Microsoft , Alibaba , .
(DBaaS) , , .
:
, , , . , CPU, RAM, SSD(HDD) , .
, . . , , , , , , ..
, , . , , . , , , , Mb. AWS Azure . NASA, , . .
. , , . . , , . Gb, , .
, - , . , . .
, , . , Alibaba , 12 - , .
, , IP . .
. , . .
., SberCloud, . , , . , Microsoft, Google, .
: , , , . c .
, , , . . .
, , .
OLTP vs OLAP
Online Transaction Processing (OLTP): , , , .. . , . OLTP – . , OLTP.
, Online Analytical Processing (OLAP). OLAP , . , , , . OLAP , , . Data Scientist. , . SQL, Python, R, , ..
OLAP OLTP, . OLAP , . OLAP , , SIMD (single instruction, multiple data) , 1 , .
, . , , . , , NVidia Tesla.
SSD vs HDD vs Storage vs Tape vs Other
.
2020 , SSD HDD. , . , , , . . SSD, HDD . HDD , . 1000 , HDD. OLTP HDD. SSD c 6000 IOPS ( ), NVME , , .
HDD OLAP , , . 1 – . HDD SSD 1 .
SSD HDD . . SSD HDD, , , SLC MLC, , TLC QLC, . . SSD 1Tb 1000$ - . , , , . SSD HDD, . SSD .
- SSD – 2.5 , PCI-X , U.2– M.2, . SSD – NVME.
Storage – () - , . , . – , 10 . . – , . . , . AllFlash – HDD SSD.
EMC DELL . Huawei . , .
Intel Optane (3D Xpoint) – , , , SSD. - . SSD+NVME /. Optane SSD, RAID .
RAID – , . . , RAID . OLTP RAID10.
Tape – . , 2020 . , . , . , , . , .
– , . , , .., . . . .
: Horizontal scaling vs Vertical Scaling.
, 10-15 . 2000-x Oracle, Microsoft, IBM , , Web API, , 2000-x , ( ) . CPU, , , .. . , .
, , , . , , . , , .
, . : , , . . , . , . , . . , hash , . ().
, 8 , , 4 , 2 , . , 2 8 10 . : , .. 2-3 , . .
2 2 , , , , , .
: , , , . , .
- High Availability. Master-master, master-slave.
High Availability– . . . , , . : , , , ..
, , , RAID . , , , , , .
online , . . – , , .
. , , -. Slave- , . Master-Slave.
, . , , . , , master , . Master-Master. master slave .
, .
, , , . , , . master , , slave master, . , , . , , . , .
. . , .
Online maintenance - online alter
24/7/365 – , 24 , 7 365 . (maintenance). , , , , . , , , , , . , , , .
. , ? . , , , . , , . . , .
, . , , , , . , , , , , . – , . , .
, , % . .
: – SQL, , , , , , product- ..
, , , DataGrip JetBrains ( Kotlin, ReSharper, GoLand ..) . , .
, . , - , . , , , . . , . , , , .
, . , , , , , SQL . , - . , . , Flashback Data Archive, Temporal history, Change Tracking, Data Audit ..
, , . , , , , , , , , .
-
, . , . , , , , , . , .
- - , . -. , (, -) - , , , .. , . , , , , , , .. - , -.
, - , .. .
, , ClickHouse . - , .
JSON
NuGet- Micrsoft Visual Studio C# - JSON (JavaScript Object Notation). , , Microsoft, XML. JSON , , JSON .
In Memory
RAM . , . , . . -, .
- In-Memory , , , Tarantool.
, . , .. OLAP . , , , , CPU. , .
(temporary)
, , . , . , , , . , , .
MapReduce
Google . Map – Reduce – . Apache Hadoop Spark – , HDFS . Hive, SQL. .
, . , . , .. Hive , .
. ? , , . (spatial index) R-tree .
Graph data
. .
. . - , , , . , - .
, . , . , . , , , , , .. . , , . - . , . . (), - .
GPU, NPU (Neural Processing Unit), Google TPU (Tensor Processing Unit)
- . , GPU NPU , , GPU NPU , ( ) . . DPU (Data Processing Unit) – , . .
Community
, , . , – . . StackOverflow.com , . . KnowledgeBase.
Tag |
Count |
MySQL |
598,350 |
SQL Server |
285,092 |
Mongodb |
129,907 |
Oracle |
122,385 |
Postgresql |
117,427 |
sqlite |
82,596 |
ms-access |
46,177 |
elasticsearch |
44,482 |
redis |
18,290 |
db2 |
10,485 |
… |
|
clickhouse |
530 |
tarantool |
103 |
, , , , . % - (holy war - ). , . . Oracle IBM DB2 – .
: . OpenSource Commercial , . Online . . SQL. -. , . , . , .