Дата инженер

​​​​​​​

• поддержка интеграций и витрин на базе хранилища данных Greenplum;

• построение ETL-процессов;

• создавать новые витрины в Greenplum;

• уметь работать с разными типами источников (MS SQL Server, Oracle, PostgreSQL, MongoDB, API, Kafka);

• разрабатывать схемы подключения новых источников в DWH по стандартному процессу;

• создавать проверки качества данных;

• документировать разработки;

• общаться с аналитиками для уточнения требований и проработки технических решений;

• принимать участие в разработке и реализации решений: написание / оптимизация / профилирование SQL/NoSQL запросов

Требования:

• знания концепций работы с git;

• знания принципов работы БД, построения ХД;

• опыт разработки ETL процессов (Желательно Flink, NiFi, Spark. Опционально Pentaho, Informatica, SSIS);

• опыт работы с высоконагруженными распределенными системами хранения и обработки данных;

• знание SQL (временные таблицы, оконные функции, cte и тд), опыт оптимизации запросов;

• знания языков программирования (Желательно Python, Scala. Опционально другие);

• опыт работы с очередями (Желательно Kafka. Опционально RabbitMQ);

• опыт работы с оркестраторами (Желательно Airflow. Опционально Dagster, Prefect, Mage, Luigi);

Будет плюсом

• опыт работы с Greenplum;

• опыт работы с облачными ресурсами и использование Terraform для управления конфигурациями;

• опыт работы с мониторингом Prometheus, ELK, Grafana;

• создание собственных CI/CD процессов (Jenkins);

• знание форматов хранения данных и табличных форматов (AVRO, Parquet, Iceberg).

Условия:

• гибкая система премирования;

• расширенный социальный пакет: ДМС со стоматологией с первого месяца работы, психолог и страхование жизни, компенсация питания;

• работа в компании с развитой инженерной культурой;

• внутренние профессиональные сообщества и мероприятия;

• автономность работы, возможность менять правила, ошибаться и создавать новое;

• возможности профессионального роста, программы развития для сотрудников;

• корпоративное обучение и доступ к базе знаний;

• гибридный/удаленный формат работы;

• современный офис в 2 минутах ходьбы от МЦК ЗИЛ.