Инженер данных

Показать контакты

Описание вакансии

Чем предстоит заниматься:

Реализация высоконагруженных конвейеров обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем Банка;
Реализация комплексных задач по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения;
Разработка и поддержание в актуальном состоянии документации по разработанному функционалу;
Своевременное отражение статуса выполнения задач в Jira;
Проверка качества кода (код-ревью), написанного инженерами и младшими инженерами данных.

Наши пожелания к кандидатам:

Python - уверенное знание структур данных и алгоритмов, эффективное применение принципов ООП и ФП (Функциональное программирование), опыт написания модульных и интеграционных тестов, знание и опыт применения библиотек обработки и анализа данных - numpy, pandas
Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных и слабо структурированных данных (текст, xml, json) из внешних источников
Способность разобраться с API поставщиков данных, используя доступную документацию
SQL - умение создавать сложные запросы с использованием аналитических оконных функций и использовать инструменты профилирования для оптимизации их производительности, опыт работы с БД Oracle, Postgres, Greenplum
Уверенное знание и опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных - Airflow
Опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark, уверенное знание настроек Spark и их влияния на производительность приложений Spark.

Что мы предлагаем:

Стабильную работу в одном из крупнейших банков страны;
Сильное DS community, большое разнообразие рабочих и внерабочих активностей. telegram: @aaanalytics;
Конкурентную заработную плату, соцпакет;
Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития);
Дружный коллектив единомышленников (все специалисты, занимающиеся машинным обучением объединены одним департаментом для максимально плотного и продуктивного обмена знаниями);
Передовой стек технологий, высокопроизводительное оборудование;
Возможность решать разнообразные прикладные задачи с выводом в промышленную эксплуатацию, возможность существенно влиять на результат (в т.ч. в бизнес-смысле) и способы его достижения (вплоть до внесения изменений в архитектуру);
ДМС, страхование жизни;
Корпоративное обучение.