Data Engineer

• разработка Data инструментов для оптимизации работы DE;
• разработка батчевых ETL процессов с использованием Airflow, Apache Spark;
• мониторинг и обеспечение качества данных поступающих в хранилище;
• разработка NRT ETL процессов используя Spark Streaming и Clickhouse;
• оптимизация текущих решений.

• ​​​​​​​​​​​​​​python на высоком уровне;
• опыт работы с Clickhouse, Greenplum - понимание архитектуры и особенностей СУБД, умение читать план запроса, обладать навыками оптимизации;
• продвинутый уровень sql;
• опыт работы с Apache Airflow;
• опыт работы с REST API;
• опыт работы с Apache Spark (Pyspark 3.4.1 и более актуальными версиями) - понимание архитектуры Spark, навык отладки и оптимизации кода.

Будет преимуществом:

• опыт работы с s3 (minio);
• опыт работы с Openmetadata;
• опыт работы со стриминговыми пайплайнами данных ( Spark Streaming в приоритете);
• опыт работы с архитектурой Data Lake;
• опыт работы с Trino.

• Работу в аккредитованной IT-компании;
• Удалёнку. Для нас важны результаты работы без привязки к месту;
• Официальное оформление с первого дня работы;
• Поддержку куратора во время адаптации;
• Внутреннее обучение soft & hard skills, создание индивидуального плана развития;
• Социальная ответственность. Поощряем донорство, оказываем материальную помощь при рождении ребёнка.
• Компенсируем затраты на любые медицинские услуги или ДМС.
• Поддержка здорового образа жизни. Компенсация фитнес-абонементов, тренировок.
• Партнерскую программу «Зелёный свет»: за рекомендации знакомых специалистов можно получить до 50 000 руб;
• Богатый опыт сплоченной и профессиональной команды.