Data Engineer

Москва, Центральный административный округ, Пресненский район, Московский международный деловой центр Москва-Сити, многофункциональный комплекс Башня на Набережной

Метро: Деловой центр

Показать контакты

Описание вакансии

Нужен Data Engineer, который сможет взять на себя часть непрофильной для аналитиков работы по автоматизации отчётов, превращению моделей в сервисы, оптимизации запросов, а также сможет выстроить процесс код ревью, CI\CD Pipeline.

Наш стек: MPP (Vertica, ClickHouse), Python+ Airflow, Hive, PySpark.

Вам предстоит:

Проектирование и разработка витрин данных для анализа и моделирования;
Оптимизация процессов ETL, система мониторинга обновления витрин и источников данных;
Изучение способов повышения качества и надёжности данных;
Предоставление экспертной поддержки по оптимизации обработки данных на клиенте: Jupyter + Python;
Поддержка и развитие базы знаний.

Мы ожидаем:

Обязательный стек, с которым ты работал: Hadoop, Spark (Pyspark)
Отлично знаешь SQL, знаком с Vertica, Clickhouse, владеешь концепцией DWH.
Умеешь программировать на Python.
Знаком с командной строкой Unix-систем.
Есть опыт работы с BI-инструментами: в идеале Superset, но опыт с другими BI тоже подойдет, если ты готов осваивать новый инструмент.
Работал с Airflow
Хорошо представляешь, как работает e-com.
Способен взять ответственность свое направление и готов к самостоятельному решению задач с большой степенью неопределенности.