Инженер данных

Задачи:

• поддерживать команду аналитики в задачах обработки данных: помогать поддерживать существующие пайплайны аналитиков; проектировать и реализовывать новые пайплайны (в том числе на основе прототипов от аналитиков)
• оптимизировать запросы, хранение данных, пайплайны, совершенствовать процессы обработки данных
• развивать платформу данных компании, дорабатывать DWH (совместно с командой DWH), переносить существующие решения на DWH, разрабатывать и внедрять новые компоненты аналитической инфраструктуры
• реализовывать проверки и мониторинг качества данных, предложить/разработать фреймворк для использования аналитиками и расширения покрытия проверками качества данных

Мы ожидаем от вас:

• опыт работы в роли DE от 2 лет
• высокий уровень владения SQL (хорошее понимание транзакций, работа с оконными функциями, PL/pgSQL)
• хороший уровень владения Python (написание пайплайнов, работа с API, работа с pandas/numpy)
• навык моделирования данных (в т.ч. знание реляционной модели, подходов Кимбалла и Data Vault)
• опыт работы с реляционными и колоночными СУБД (понимание разницы между ними, навык оптимизации структуры таблиц для ускорения запросов или для экономии места, работа с индексами)
• понимание жизненного цикла данных в цифровых продуктах и построения аналитики на их основе
• желателен опыт работы в ML проектах
• опыт проведения ревью
• опыт работы в кросс-функциональных командах
• будет плюсом опыт с MPP

Наш стек:

• GaussDB (DWS), PostgreSQL
• SQL, Python
• Airflow
• MySQL, ClickHouse, S3, различные API
• NiFi, Kafka, Debezium
• PowerBI
• Superset
• Git, Gitlab CI

Что мы предлагаем:

• Официальное оформление по ТК РФ, стабильную белую заработную плату + ежеквартальную премию
• Удаленный или гибридный формат работы
• ДМС со стоматологией, компенсация фитнеса, скидка на изучение иностранных языков, образовательные курсы и семинары, частичная компенсация парковочного места
• Трудолюбивым и талантливым мы гарантируем карьерный рост
• Веселые и запоминающиеся корпоративы на природе и в офисе: играем в настолки, xbox и настольный теннис прямо в офисе. Заказываем пиццу каждую последнюю пятницу месяца
• Ежедневное погружение в мир книг и неограниченный доступ ко всем электронным и аудиокнигам