Data Engineer

Вакансия с релокацией на Кипр!

Наш клиент - международная компания, которая разрабатывает надежные и актуальные IT-решения для B2C и B2B сегмента развлекательной, игровой и спортивной тематики. Data Platform Team приглашает опытного разработчика решений процессинга больших объемов данных (объем 3PB+, прирост 1-2 PB/year).

Чем предстоит заниматься:

• Проектирование процессов хранения и процессинга данных (batch, stream);
• Проектирование архитектуры реляционных и noSQL БД;
• Разработка ELT для различных источников (Kafka, ELK, HDFS, S3, JDBC, API), процессинга данных (очистка, расчет показателей, материализация), сохранения данных в S3/HDFS (parquet, iceberg), ClickHouse, StarRocks DB;
• Проектирование и создание структур хранения данных и витрин данных в PostgreSQL. Trino, StarRocks DB, ClickHouse для поддержки аналитической нагрузки с учетом требований к производительности и безопасности.

Что мы ищем в кандидате:

• Опыт работы от 2-х лет в области разработки pipeline процессинга на платформах больших данных;
• Понимание принципов работы кластерных решений и способов достижения требуемой производительности;
• Понимание назначения и различий форматов хранения данных;
• Знания SQL на высоком уровне (ClickHouse, PostgreSQL);
• Python (PySpark);
• Знание и опыт работы с Docker, Kubernetes (сборка образов, написание манифестов);
• SPARK.

Будет плюсом:

• Релевантный опыт разработки решений объемом от 100 TB с учетом аспектов отказоустойчивости, производительности, безопасности;
• Понимание архитектуры и практический опыт построения DWH (Inmon, Kimball, Data Vault, Data Lake. Delta Lake);
• Опыт работы с Presto, Trino, Star Rocks DB;
• Опыт работы с CI/CD (GitLab CI/CD, GitHub Actions);
• Опыт работы с Data Lakehouse форматами данных;
• Понимание способов оптимизации производительности СУБД на уровне конфигурации.

Что компания может предложить Вам:

• Релокацией на Кипр за счёт компании;
• Офисный формат работы (г. Лимассол);
• Частичная компенсация аренды жилья;
• Компенсация перелета для кандидата и членов семьи;
• Юридическое сопровождение легализации на Кипре кандидату и родственникам;
• Гибкое начало рабочего дня;
• Частичная компенсация занятий английского языка и спортзала;
• Завтраки и обеды в офисе;
• Возможно дополнительное обучение, а также посещение профильных конференций;
• Оплачиваемые больничные и отпускные.