Data Engineer

С чем предстоит работать:

• Проектирование, разработка и поддержка ETL/ELT с использованием Apache Spark, Apache Flink и dbt.
• Работа с реляционными базами данных и SQL-движками.
• Реализация решений для data lake и хранилищ с открытыми форматами таблиц и файлов.
• Управление облачными инфраструктурами, обеспечение высокой доступности и производительности.
• Организация конвейеров данных.
• Развертывание и управление контейнерными приложениями.
• Работа с базами данных NoSQL.
• Оптимизация производительности хранения, извлечения и преобразования данных на различных платформах.

Будет плюсом:

• Опыт работы с Elasticsearch для поиска и аналитики.
• Знакомство с dbt для аналитической инженерии.
• Опыт работы со Scala в проектах по инженерии данных.

• 2+ года опыта в области инженерии данных или смежной области.
• Большой опыт работы с SQL и Python для обработки данных.
• Практический опыт работы с Apache Spark, Flink и Kafka для обработки данных в реальном времени и в пакетном режиме.
• Опыт работы с облачными средами (AWS, Azure) и решениями для хранения объектов (MinIO).
• Понимание RDBMS и SQL-движков, таких как PostgreSQL, MS SQL, ClickHouse и Trino.
• Опыт работы с Docker.
• Знание Apache Airflow.
• Работа с Delta Lake и Apache Iceberg для реализаций data lake.

• График работы: 5/2, 10:00-19:00;
• Комфортабельный офис;
• Тренинги и курсы профессионального и личностного роста;
• Корпоративный английский;
• Возможность работать в мультикультурной команде;
• Конкурентная заработная плата (обсуждается индивидуально с кандидатом);
• Тимбилдинги и спортивные активности;
• Полезные и вкусные перекусы.