Data Engineer

Команда проекта занимается разработкой платформы для работы с данными. DataOps Platform — возможность продуктовых команд самостоятельно работать с данными, не требуя при этом привлечения полноценной команды разработчиков. Это способствует ускорению процессов, экономии средств и инновационному развитию продуктовой линейки.
Мы в поисках Data Engineer, желающего получить уникальный опыт и стать частью дружного коллектива.

Твои задачи:

• Разрабатывать ETL-процессы на базе прототипов и технических требований;
• Изменять существующие ETL-процессы в соответствии с меняющимися бизнес-требованиями;
• Продуктивизировать код, проводить DQ-проверки, устанавливать регламенты и контролировать работу ETL-процессов;
• Оптимизировать и рефакторить код на уровне запросов и конфигураций (SQL/Python/Spark/HDFS);
• Взаимодействовать с системными аналитиками, инженерами данных, второй линией поддержки, DevOps и другими смежными подразделениями;
• Оперативно решать инциденты на уровне третьей линии поддержки;
• Работать с централизованным OLAP-хранилищем (Hadoop) и слоем репликации витрин данных (Greenplum), а также с PostgreSQL, Teradata, Clickhouse и другими БД.

Мы ждем от тебя:

• Хорошие навыки SQL
• Опыт работы с Python
• Знания технологии Hadoop, HIVE
• Владения навыками работы с HDFS
• Опыт работы с Spark
• Опыт работы с Airflow
• Умения рабоатать с Linux CLI
• Знание работы Greenplum или другой MPP-Database
• Понимание работы с YAML-нотации

Что мы обеспечим:

• Команда профессионалов, где каждый увлечен своим делом и готов поделиться экспертизой, а также возможность нести новые знания и технологии
• Безграничная прокачка скиллов
• Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
• Новая техника для комфортной работы
• Корпоративная культура с своими ценностями и традициями
• Сессия профессионального развития персонала дважды в год, результатом которой является план индивидуального развития каждого сотрудника и получение обратной связи