SmartData 2020: Konferenz zum Thema Data Engineering

Wenn Sie als Dateningenieur tätig sind, sind Sie möglicherweise auf eine anstößige Informationsverzerrung gestoßen. Die Datenwissenschaft wird aktiv behandelt, es gibt viele nützliche Materialien. Und Sie arbeiten in einem verwandten Bereich, in dem sich auch viele wichtige Fragen stellen, über diese Fragen wird jedoch viel weniger gesagt.

, , 9-12 SmartData. - : data scientists, - , .

- , , . , , , .

, 2017- « SmartData», 2018- SmartData. : « , , ». : !

, , . , , . , data science, :

, , , . , : « , , , - …»

, SmartData 2020? , , . , :

Streaming

• Flink
• Spark
• Kafka

, , noSQL, SMP/MPP- DWH:

• Hive, Impala, Presto, Vertica, ClickHouse, Cassandra
• Teradata, Redshift, GreenPlum, exadata
• MSSQL, PostgreSQL
• MongoDB, DynamoDB
• S3, ADLS, GCS, HDFS

DWH

• Ad-hoc reporting
• Hadoop

Data governance

• Data security
  
  
  • Data quality
  • Metadata catalog management
  • Master data management

ETL

• Spark
  
  
  • Hadoop MapReduce
  • Sqoop
  • Performance analysis and optimization

MLOps

• Airflow, NiFi, Luigi, Azkaban, Oozie etc
  
  
  • MLflow

• 
  
  
  • - , data engineer
  • CI/CD

^SmartData

, SmartData — . ?

• , , «-» « ». , , , . : , , .

  
  
  

• , , . .

  
  
  

• , -. . : , 3-4 . .

  
  
  

• , - , 3-4 : . , - «», ( - ). , «» , !

  
  
  

Call to action

? :

1. — . , , .
2. , — , .
3. IT, : «full pass», SmartData, 7 . .

SmartData!