Wenn Cron ausfällt

Hallo!

Wir haben riesige nächtliche Berichte über Produktmetriken, die morgens an ihre Besitzer gehen. Vor ein paar Jahren wurden sie mit einem normalen Cron gesammelt, aber dies stellte sich als sehr instabile Geschichte heraus. Cron muss bestimmte Nuancen und Disziplinen berücksichtigen: Wenn der Bericht nicht erfasst wird, müssen Sie das Skript neu starten. Und es kann aus vielen Gründen fehlschlagen: Eine der MySQL-Datenbanken hat nicht geantwortet, oder der abgefragte Dienst hat nicht geantwortet, oder der Server, auf dem Cron ausgeführt wird, wurde nachts neu gestartet oder ist ausgefallen. Die meisten dieser Berichte wurden von Analysten erstellt, die dies normalerweise nicht berücksichtigten. Weil sie Analysten sind und dies nicht ihre Aufgabe ist. Also suchten wir nach Optionen, die das Leben für alle einfacher machen würden.

Und sie haben es gefunden.

Airflow Kubernetes. .  , , Data Team,  – , - .

– , , . – , , . , , ,   ,    . , ,     , , , – , .

. – .  :  , . , production-, , . , . , . .

, - : . python, Cron' . , . , ,  – . : , , , .

DataTeam . , . 

: "", , .

-  – . , , ,  – . ,  ,  , . , ,  . Cron . , .

Cron' . , , - . Cron' . , , . .

 – , . , , . : , , - . - ( , ). , .

, ( ), . Kubernetes'.  ,  CronJob. , Cron'. :  , CronJob , . , , . , Cron , . CronJob "" ( : A cron job creates a job object about once per execution time of its schedule. ). "" , . .  CronJob .   .

,  Kubernetes' . ,  CronJob , , .  – , . , , , . , , , , - , , .

, . Airflow.

Airflow

(,  ). Arflow , .  – ( directed acyclic graph).

 – ,    . , , . Airflow . , .

– . Cron CronJob . Cron' , , CronJob – Kubernetes'.  , Airflow ,  Kubernetes', - . , . Airflow , , . .

, , Kubernetes'. Airflow    , , : KubernetesPodOperator KubernetesExecutor. KubernetesPodOperator: docker- Kubernetes'.

 kubernetes-client  API Kubernetes', Airflow.  configmap' , . KubernetesExecutor' : Airflow , , .

Airflow + KubernetesPodOperator + Kubernetes , , , Airflow Kubernetes, , - .

KubernetesPodOperator'

Kubernetes' Docker' Airflow. - SimpleHttpOperator' PythonOperator',  http- , . , , - .  – , -. , : , , , . Airflow.  – - , , ,   , .

, .

: . . BI- Metabase, . ().

 Airflow + KubernetesPodOperator + Kubernetes .

, " !"?

:

1. ;

2. , ;

3. , ;

4. , .
   
   , Airflow , / ;

5. , , ;

6. 5.

, "how to"  Airflow , .