👵🏼 😪 🌌 Machen Sie das Beste aus: Cloud Composer als vollständig verwaltete Lösung für Airflow 🌳 🖖 😵

Hallo Habr! Mein Name ist Sergey, ich bin Lead Software Engineer / Sream Lead bei EPAM, einem zertifizierten Google Cloud-Ingenieur und Architekten. Seit über 10 Jahren entwickle ich kommerziell für verschiedene globale Unternehmen, hauptsächlich mit Schwerpunkt auf dem Backend. Ich teile auch gerne mein Wissen. Heute möchte ich über Apache Airflow sprechen, das meiner Meinung nach ein gutes Werkzeug für den Bau Ihrer Pipelines ist.

Wie ist der Plan?

Kurz gesagt, ich erzähle Ihnen von Airflow für diejenigen, die noch nicht damit gearbeitet haben. All dies ist im Internet ausführlicher zu finden, daher werde ich nur auf die Grundkonzepte eingehen.
Lassen Sie uns sehen, was Google Cloud Composer ist , wie es Airflow verwendet und die Entwicklung in realen Projekten vereinfacht.
Lassen Sie uns einen Blick auf die Entwicklungs- und Bereitstellungspraktiken in Google Cloud Composer sowie auf die Schwierigkeiten und Einschränkungen werfen, die beim Starten von Airflow in Cloud Composer auftreten können.
Und natürlich werde ich nützliche Tools vorstellen , die Sie in Ihrer Arbeit verwenden können.

Luftstrom in mehreren Absätzen

Dies ist also ein Tool zum Planen, Erstellen und Überwachen von in Python geschriebenen Pipelines. Es gibt andere sofort einsatzbereite Prozess-Orchestrierungslösungen wie Luigi. Aber jetzt sprechen wir über die Vorteile von Airflow:

Wirklich gut für den Bau von Pipelines. Das Herzstück von allem, was er hat, ist ein gerichteter azyklischer Graph, mit dem Sie die sequentielle oder parallele Ausführung von Aufgaben implementieren sowie deren Reihenfolge und Abhängigkeiten verwalten können.
. open-sourse , .
-: , .
REST API, API.

ETL-pipeline “” . , GCS . , , , . , , .

Airflow. DAG (Directed Acyclic Graph) — , Airflow. , . , .

Tasks DAG . , , . Operators , , . , — DAG-. — DataLoadOperator, GoogleCloudStorageListOperator UpdateStatusOperator — , . , , DAG-, . .

E DAGs Run Tasks Instances. DAGs Run — DAG, . Tasks Instance — , DAG Run. DAG Run Tasks Instances — execution date.

DAG , , pipeline-.

, Airflow:

(Scheduler) DAG-, .
( Executor) — , . : SequentialExecutor, CeleryExecutor . . , CeleryExecutor Queue Broker.
(Workers) ( Celery).
- , , , HTTP-, DAG- . , , Airflow, DAG-, . .
Logs. , Airflow. , - loud-. , Stackdriver GCS bucket .
Admin Panel / DAG-, , , (, “”).

Airflow , DAG-. , . - , . , task execution , Admin Panel. , . , deployment-.

Google Cloud Composer

Google Cloud Composer Composer — fully managed , , cloud.

, . , , storage A storage B. Airflow DAG, Composer . , . - , retry, . , . , cron jobs, 100 , — Airflow Composer , .

Composer:

-, . Composer Airflow Google Console UI “ ”, , DAG- . , DAG-, , , Composer bucket GCS. .
-, Composer , UI. Airflow, .
-, Composer security- , Google Cloud. , Private IPs, Authorization . .
-, Composer Console .

Composer. “, fully managed “”?” , , . , :

( , Composer ). Tenant Project — , Identity Access Management. . AppEngine Flexible -, Cloud SQL — Airflow. Cloud SQL , , -, . Cloud Storage Composer bucket, , / DAG-, . , Kubernetes . Core-, , worker- , , Redis, CeleryExecutor, Google Kubernetes Engine. : Kubernetes , , Redis. , Redis Airflow, Kubernetes Engine. , Composer Stackdriver — . , 100 , .

, , “ ”. , , , , DevOps-, , , , . .

, :

-, Tenant Project, Cloud SQL . — . , , .

Deployment development,

— , . :

, . Airflow DAGS_FOLDER PLUGINS_FOLDER sys.path , . : DAGS_FOLDER DAG-, PLUGINS_FOLDER — Airflow.

, , libs utils. , . plugins Airflow PLUGINS, Airflow. operators, hooks, macros — , Airflow “ ”.

. pip requirements.txt . Composer, UI, . , CI/CD , gcloud. pip Composer.

Airflow DAGS_FOLDER PLUGINS_FOLDER sys.path, , , DAGS_FOLDER, PLUGINS_FOLDER. , Airflow, , . , Airflow , , DAG-. PLUGINS_FOLDER . plugins — . . , , .

Airflow: . Composer read-only. .

.airflowignore . .gitignore , , Airflow . , . , PLUGINS_FOLDER , . .airflowignore Python , .

Airflow. Airflow , UI-, View. operators, hooks . , Airflow PLUGINS_FOLDER sys.path, , , from vnd.operators.my_operator. , , Airflow. , :

from vnd.operators.my_operator import MyOperator
from vnd.sensors.my_sensor import MySensor

, . , , Airflow plugins AirflowPlugin .

: , , callable- , lazy . , DAG-. , c , . , . , , , - , . : DAG- .

CI/D — . linters, isorts Gitlab CI/CD . CI/D , : Jenkins, Gitlab pipeline, Spinnaker.

, linters, unit , — . Composer, gcloud rsync.

Composer , rsync, Airflow. , gcloud composer, DAG-, - . , , - . rsync, , /.

, Airflow . , , . , , Airflow. . afctl — CLI-, Airflow . , , DAG- . , afctl , , ( ).

, , Airflow. , Google Cloud Platform, AWS, Azure, . providers Airflow.

Airflow Plugins — , CRM , . . GitHub: Airflow , , .

, Airflow self-service, Cloud Composer.

Cloud Composer, , “” (scaling to zero). , , . Composer : , A/B-, . , GKE , .

Composer, , Prod/Dev/Staging. . Composer Airflow, , Google Airflow. Composer : , image, Airflow.

DAG — , . , pip.

, , . , .

AirflowPlugin — UI , Airflow. .

.airflowignore , Airflow. , .airflowignore DAG- , Airflow DAG- DAG-. , DAG- , , , .

DAG- Cloud Composer. DAG- . — “”.

Airflow. , GoogleCloudStorageListOperator , , . - , .

KubernetesPodOperator , Python. Kubernetes, Airflow Pod-. , Composer-.

Composer, read-only Airflow. .

, , Airflow Composer :)

Machen Sie das Beste aus: Cloud Composer als vollständig verwaltete Lösung für Airflow

More articles: