Дата инженер

Мы – команда разработки хранилищ и инструментов аналитики (Statistic & Marketing Team), ищем Data Engineer. На нас полный цикл очистки сырых данных и превращение их в бизнес статистику.

Наша команда собирает, обрабатывает и предоставляет в удобном формате уникальные данные из внутренних и внешних продуктов: пользовательская статистика, данные по аудитории, финансовая отчётность. Главная задача команды - создавать инструменты, которые помогают быстро анализировать и принимать верные решения на разных управленческих уровнях, включая стратегические решения.

Дата в компании сейчас это петабайты данных с нагрузками до ~140000 rps.

Мы смотрим далеко вперед и хотим заранее быть готовыми к сильному скачку в количестве данных и пользователей, из-за чего начинаем проработку новой архитектуры с нуля, параллельно преобразуя старые решения. У тебя есть возможность поучаствовать в создании чего-то нового и очень эффективного с нуля, и воплотить в жизнь то, что всегда хотелось сделать, но было трудно доказать бизнесу, что оно того стоит

Что нужно будет делать ближайшее время с командой:

• Разработать и оптимизировать процесс забора данных из Hadoop/Spark , а также читать данные из Kafka ;
• Построить эффективные витрины данных в ClickHouse для аналитики в Yandex DataLens ;
• Разработать и оптимизировать ETL/ELT пайплайны для обработки и трансформации данных;
• Автоматизировать процесс формирования аналитических отчетов в DataLens ;
• Улучшить процессы извлечения данных из MsSQL и интеграции с другими системами;
• Проанализировать и переработать существующую архитектуру данных, обеспечивая высокую производительность и отказоустойчивость ;
• Работать с потоковыми данными в Kafka и организовывать качественную доставку данных ;
• Настроить мониторинг и контроль качества данных, развернуть систему документирования метаданных (например, OpenMetadata или DataHub ).
• В дальнейшем подключать в инструментарий Облачные решения, Trino и т.д.

Наш стек технологий:

• Языки программирования: Сейчас C#/.NET, Python (будет плюсом Java/Scala/Kotlin/Go);
• Хранилища данных: ClickHouse, MsSQL;
• Big Data: Hadoop, Spark;
• Потоковая обработка данных: Kafka;
• ETL/ELT: Airflow (dbt, Dagster);
• BI и визуализация: Yandex DataLens, Power BI;
• Развертывание и мониторинг: Docker, Kubernetes, Grafana, Elasticsearch;
• Облачные технологии: AWS S3 (будет плюсом).

Что мы ожидаем от кандидата:

• Опыт работы на позиции Data Engineer от 5 лет ;
• Хорошие знания SQL (ClickHouse, MsSQL, альтернативы);
• Опыт работы с распределенными системами (Hadoop, Spark, альтернативы);
• Навыки работы с потоковыми данными и системами очередей (Kafka );
• Опыт проектирования и разработки ETL/ELT пайплайнов (Airflow, dbt, Dagster или аналог);
• Понимание принципов работы DWH и построения OLAP-витрин ;
• Опыт работы с BI-инструментами (DataLens , Tableau, PowerBI будет плюсом);
• C#/.NET и Python сейчас используется в большей степени— будет плюсом GO/Java/Scala/Kotlin;
• Навыки работы с Git , CI/CD и автоматизацией процессов развертывания.

Будет преимуществом:

• Опыт работы с Airflow (dbt, Dagster) или другими инструментами оркестрации пайплайнов;
• Опыт настройки OpenMetadata или DataHub для документирования метаданных;
• Понимание концепций Data Governance и контроля качества данных;
• Опыт работы с контейнеризацией (Docker, Kubernetes );
• Опыт работы с AWS S3, Trino;

Как мы работаем и что ценим:

• Ориентируемся на конечный результат , выбирая простые и понятные решения вместо излишне сложных подходов.
• Самостоятельно разбираемся в требованиях , доводим решения до завершенного состояния и осознанно оцениваем компромиссы между скоростью, стоимостью и надежностью .
• Умеем грамотно декомпозировать задачи , планируя работу так, чтобы поддерживать прозрачность процесса и прогнозируемый результат .
• Не боимся задавать вопросы и просить помощь , если сталкиваемся со сложностями.
• Используем наилучшие инженерные практики (SOLID, DRY, KISS), но применяем их осознанно там, где они действительно необходимы.

Что мы предлагаем:

• 2ГИС — аккредитованная IT-компания;
• У нас можно работать удалённо. Для нас важен специалист, а не его локация. Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске;
• Само собой, полностью белая зарплата. Дополнительные дни отпуска за стаж работы в компании;
• Заботимся о здоровье: ДМС и возможность получать онлайн-консультации и терапевта, невролога, психолога и медицинского агента;
• Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра;
• Есть собственный учебный центр: курсы, тренинги и книги для прокачки скиллов.