Что нового

Скачать курс: [SkillFactory] Профессия Data Engineer

Administrator
Команда форума
Регистрация
13.03.2019
Сообщения
37 966

Упоминание Data Engineer как профессии выросло на 88% за 2 года
Средний уровень окладов — 180 000Р/месяц

Программа курса:
1. Введение
• Профессия Data Engineer
• Обзор задач, которые решает Data Engineer
• Обзор инструментов
• Будущее Data Engineering
2. Хранилища данных
• Реляционные базы данных и основы SQL
• Data Warehouse (DWH) и его эволюция
• Data Lake
• Data Lineage, Data Governance
3. Экосистема Hadoop
• Обзор Hadoop
• Погружение в HDFS
• Map Reduce и его альтернативы
• Погружение в Yarn и Hive
• Apache Spark
• Обзор Zookeeper, Sqoop, Impala, Hue, HBase
4. Python
• Введение в программирование на Python
• Основы синтаксиса
• Практика программирования
5. Пайплайны данных
• Что такое ETL-процессы?
• Apache Airflow
• NiFi и Kafka
• Работа со слабо структурированными данными
• Загрузка данных из web
• noSQL хранилища (MongoDB, Cassandra)
• Cхемы данных (снежика, датасет, датаволт)
6. Cloud-платформы
• Работа с Amazon, Google, Microsoft, Yandex
• Практика с aws-cli, boto3, Google Composer
• Сравнение производительности












 
Верх