Чем предстоит заниматься:
Проектирование и развитие масштабируемой data-инфраструктуры (batch и streaming пайплайны)( ClickHouse (MergeTree); S3 Data Lake; Kafka; Airflow (ETL/ELT); Etc)
Архитектура и реализация витрин данных для аналитики, ML и AI-агентов
Поддержка и написание пайплайнов ETL/ELT (dbt / Airflow / Spark / Kafka / etc.)
Оптимизация производительности, стоимость хранения и потребления данных
Внедрение и поддержка стандартов CI/CD и мониторинга пайплайнов
Работа в связке с аналитиками, ML-инженерами, разработчиками и продуктами
Участие в построении feature store, ML-инфраструктуры и поддержке GenAI систем
Наши ожидания от кандидата:
3+ лет опыта работы с данными в роли Data Engineer
Опыт проектирования data-платформ в продакшене (от ingestion до витрин)
Отличное знание SQL, Python (или Scala), опыт работы с Apache Airflow, Spark, Kafka
Опыт построения CI/CD процессов и мониторинга data pipeline’ов
Понимание принципов data governance, data quality и data contracts
Будет плюсом
Знакомство с практиками MLOps и GenAI pipeline’ами (например, RAG, LangChain)
Опыт взаимодействия с ML-инженерами: подготовка фич, поддержка feature store
Опыт руководства командой или отдельных проектов как технический лидер
Что мы предлагаем взамен:
АО «ОТП Банк» (JSC «OTP Bank»)
Москва
от 4000 USD