Data Engineer
Data Engineer
Санкт-Петербург, Ташкентская улица, 3к3Б
Описание вакансии
Обязанности:
- Собирать необработанные события из Kafka и загружать их в КХД (бронзовый и серебряный слои);
- Обогащать и агрегировать необработанные данные, преобразуя их в ClickHouse (золотой слой);
- Создавать готовые к использованию витрины данных с использованием Airflow, Dagster и материализованных представлений ClickHouse;
- Реализовать проверки качества данных и групп DAG Airflow;
- Поддерживать и развивать инфраструктуру КХД. Разворачивать инструменты и поддерживать их работу;
- Автоматизировать повторяющиеся задачи и внедрить лучшие практики и стандарты для процессов проектирования данных;
- Написание и ведение технической документации.
-
Опыт работы с Kafka, Airflow, Dagster, ClickHouse, PostgreSQL , TrinoDB, DBT;
-
Опыт работы с SQL (сложные запросы + оптимизация);
-
Опыт работы с Python (общие принципы + библиотеки для DE);
-
Опыт применения фреймворков для мониторинга и валидации данных (Data Quality frameworks);
-
Умение находить оптимальные решения и выбирать подходящие инструменты
-
Официальное трудоустройство по ТК РФ;
-
Работа в дочерней структуре одной из лучших компаний России;
-
График работы 5/2,с 9:00 до 18:00,в пятницу сокращённый день до 17:00;
-
Достойная материальная мотивация: конкурентоспособный уровень заработной платы, дополнительные выплаты к отпуску;
-
Интересные задачи и множество возможностей для карьерного роста;
-
Забота о здоровье сотрудников: качественная программа ДМС;
-
Комфортный офис в центре города.
Навыки
- Kafka
- SQL
- Python