Früher oder später steht der Analyst vor dem Problem, die Daten zu organisieren. Es gibt immer mehr davon, die Struktur ist nicht mehr transparent und dieselben SQL-Abfragen müssen mehrmals neu geschrieben werden. Um dieses Problem zu lösen, können Sie dbt verwenden - ein Tool, das einen neuen Ansatz für die Datentransformation und -modellierung eröffnet. Unter dem Schnitt befindet sich eine Übersetzung von David Crewitts ausgezeichnetem Artikel darüber, was dbt ist und wie es Analysten hilft, ihre Arbeit zu erleichtern.
dbt (Data Build Tool) ist ein Open Source-Framework zum Ausführen, Testen und Dokumentieren von SQL-Abfragen, das ein Element der Softwareentwicklung in den Datenanalyseprozess einbringt.
Dies ist ein großartiger Teil der faulen Toolbox, mit dem Sie sich bei der Analyse von Daten nie wiederholen können.
Ersetzen einer gespeicherten Abfrage
Jede SQL-Abfrage verdient ein gutes Zuhause. In dbt sind SQL-Abfragen strukturiert und in Projektordnern organisiert, sodass alle Teammitglieder immer wissen, wo sie zu finden sind:
Jedes Mal, wenn Sie Abfragen ausführen müssen, verwenden Sie den Befehl dbt run.
Dieser Befehl nimmt eine Sammlung von SQL-Modellen im dbt-Projekt und aktualisiert sie im Datenspeicher.
Einfach aber effektiv.
Dies bedeutet, dass Sie keine Fragmente von SQL-Abfragen mehr auf Ihrem Desktop oder an einem anderen Ort wie einer Schatztruhe speichern müssen.
— . - , .
dbt — , .
ref(‘ ‘)
dbt * * SQL-, {{ ref(‘model name’) }}.
:
, . dbt , , :
/admin
/base
/join /
/math (, ) ( . .)
/visualization + , .
, .
« Google Analytics?»
base -> google-analytics.
« ?»
Math -> cohort-analysis.
SQL-. dbt — Monster Queries™, .
SQL
dbt SQL- : + JINJA.
SQL- .
, CASE 15 :
CASE WHEN x = y THEN z
WHEN 2x = 2y THEN 2z
--… .
— , :
dbt SQL .
dbt dbt_utils, .
, CIFL :
JINJA
, : FOR, IF-THEN . .
dbt SQL-, JINJA.
, SQL- , .
1 №2 №9.
2 №4 №11.
, « » .
dbt :
dbt , JINJA:
, , , , . «» .
dbt + Git
dbt + Git . «Pull Requests» «Issues». SQL- Slack/Notion/email.
:
SQL- , . — .
, . , .
SQL , .
SQL-
« ?» – .
dbt .
Fishtown Analytics (, dbt) dbt Cloud, hosted dbt .
dbt Cloud , .
, — $50 .
«»
« ?»
« ?»
— . :
, .
, , , , 100% , , .
, — , , , .
, : , Google BigQuery Google Data Studio.
dbt :
`dbt docs` , SQL .
dbt + .yml .
BigQuery:
Data Studio:
(Snowflake . .) (Looker . .) . , .
?
, , . , , .
dbt .
, - , dbt . JOIN , dbt .
, SQL- , dbt .
— BigQuery, Snowflake PostgreSQL — , SQL. BigQuery Snowflake Redshift BigQuery, SQL, .
dbt ! . dbt . dbt , ( , , MS SQL).
CIFL , , , .
dbt
Wenn Sie bereit sind, die Implementierung von dbt in Ihrem Team in Angriff zu nehmen, kann Folgendes helfen:
Kostenloser Kurs " Erste Schritte mit BigQuery SQL ", der eine Einführung in die Datenmodellierung mit dbt enthält.
Der kürzlich gestartete Kurs Build Your Data Agency bietet einen tieferen Einblick in die dbt-basierte Datenanalyse.