Wie sich die Qualitätssicherung in der Data Warehouse-Verwaltung entwickelt hat. Teil 2

Im vorherigen Artikel habe ich die Probleme beschrieben, auf die wir zu Beginn der Bildung von QS-Prozessen in unserem Repository gestoßen sind, sowie die ersten Schritte, um sie zu beheben. In diesem Artikel werde ich Ihnen erzählen, wie wir mit den verbleibenden Problemen umgegangen sind, welche Tools wir verwendet haben und was unsere Pläne sind.

So lass uns gehen!

, :

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

, , flow.

(vial, live test)

vial live — ETL-. , test- , vial. , vial , - test.

: .

: , .

:

• ;

  
  
  
  
  

• test - .

  
  
  
  
  

test?

-, test . , . , , , - , , ETL- . .

-, vial . , ( ) vial prod. test.

, test’ .

test flow ?

, :

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• .

  
  
  
  
  

, .

QA- / - . ( ).

, - - . test- , . .

, .

, . . .

, .

, , , , .

— -, , QA-, , , .

?

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

. , , . , .

— , .

, — , vial- - .

20:30, . , Jira «». , . .

QA ( , , ) .

vial , . slack-.

, ! .

, :

• ;

  
  
  
  
  

• .

  
  
  
  
  

, . . .

, ETL- , ETL- , .

.

Meta-review

SAS Data Integration Studio. SAS- — . , SAS- , .

, , , . , GP, . .

Package-review

— VCS -, , , , .

Package-review -. , , , , , , . package-review -, , .

Diff-review

python-, diff-.

Log-review

.

, . python + pytest , :

• .

  
  
  
  
  

• , .

  
  
  
  
  

• Allure.

  
  
  
  
  

: . , ETL- , . : .

?

• Static — , ETL-.

  
  
  
  
  

• BI — SAP BO .

  
  
  
  
  

• — ETL- .

  
  
  
  
  

• Work — / , .

  
  
  
  
  

.

, :

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

. ?

• MG ( ), , .

  
  
  
  
  

• vial, .

  
  
  
  
  

, ( DB- ), — - .

:

• .

  
  
  
  
  

• 80—90%.

  
  
  
  
  

• .

  
  
  
  
  

, , BI , .

, python, SQL-, .

?

• ddl(‘_’) — DDL- , .

  
  
  
  
  

• profile(‘_’) — ( , . .).

  
  
  
  
  

• dq_check(‘_’, ‘’) — , NULL , .

  
  
  
  
  

• compare_(‘1’, ‘2’, ‘’) — , .

  
  
  
  
  

Compare() , , .

, (12 987 767 234 ) , order_id 9 458 234 .

ETL- — , — .

compare() . : , ( ).

- Allure

Allure - , , , , . , vial, -.

, . , . : , . .

python, QA- , .

. , — .

QA-, . . , .

flow.

:

• — vial .

  
  
  
  
  

• — . , .

  
  
  
  
  

• — vial/live, live — .

  
  
  
  
  

• — .

  
  
  
  
  

• ( , ) — , .

  
  
  
  
  

, , , — .

, — QA.

, .

?

• QA.

  
  
  
  
  

• QA — QA SRE.

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

vial, . , .

, , SQL- ( ), ETL-, .

, . QA .

, , .

: . .

DWH , .

:

• , : , / , , . .

  
  
  
  
  

• :  , , . .

  
  
  
  
  

• , .

  
  
  
  
  

, .

, QA , . , . .

, !