Data Engineer (MLOps)

Обязанности:

- Сопровождение и развитие S3-центричного аналитического хранилища данных для функции DataScience банка. Основной инструмент обработки данных - Apache Spark (используется диалект PySpark).

- Разработка процессов жизненного цикла моделей машинного обучения. Продолжение имеющихся наработок в направлении AutoML.

- Создание инструментария для команды в составе DS и DE.

- Мониторинг сервисов и инфраструктуры, контроль за выполнением SLA,масштабирование, решение возникающих проблем.

- Управление инстансом Airflow. Написание под него кастомного функционала.

- Управление инстансом MlFlow.

- Управление инстансом GitLab. Написание пайплайнов GitLab CI/CD.

- Аналитический контур развернут полностью в облаке Яндекс, соответственно все вышеперечисленное построено на базе предоставляемых облаком сервисов.

- Управление интеграциями между облаком Яндекс и on-pemise инфраструктурой банка.

Требования:

- Понимание принципов работы с облачными сервисами и умение выстраивать процессы на их основе. Плюсом будет опыт работы с облаком Яндекс.

- Понимание жизненного цикла моделей машинного обучения.

- Понимание принципов построения сетей, навыки настройки базовой маршрутизации и управления безопасностью.

- Опыт написания кода на Python.

- Опыт работы со следующим инструментарием: Yandex Cloud, Airflow,GitLab, Terraform, Spark (PySpark), S3, Delta Lake, MLFlow, Kafka.

Технологический стек:

Yandex Cloud, Airflow, GitLab, Terraform, Spark (PySpark), S3, Delta Lake, Python, MLFlow, Kafka.

Мы предлагаем:

• Профессиональный рост: HR-департамент разрабатывает и проводит обучающие программы для сотрудников. Кроме того, мы часто организуем профессиональные конференции и митапы, обмениваемся опытом с другими командами разработки.

• Официальную заработную плату дважды в месяц, полное соблюдение ТК РФ.

• Удаленный формат работы.

• ДМС, оплата детского сада. Наши сотрудники имеют возможность оформить льготные кредиты и ипотеку.

• Увлекательную корпоративную жизнь: конкурсы, спортивные мероприятия, и многое другое.

• Режим работы: пятидневную рабочую неделю с 08:30 до 17:30 (может корректироваться по согласованию с руководителем).