Data Engineer

Команда IntexSoft ищет талантливого Data Engineer, который поможет развивать и поддерживать наши дата-проекты, связанные с промышленной обработкой данных и машинным обучением. Если вы любите работать с большими объемами информации, оптимизировать пайплайны и строить надежную инфраструктуру будем рады видеть вас в нашей команде!

Чем предстоит заниматься:

• Разработка и поддержка промышленных пайплайнов обработки данных и ML-моделей на Python и Spark с использованием Airflow;

• Создание коннекторов к системам-источникам данных и потребителям;

• Организация потоков данных в рамках микросервисной архитектуры;

• Проектирование схем данных компонентов платформы в едином информационном поле;

• Оптимизация систем хранения (Clickhouse, PostgreSQL, Redis);

• Настройка и поддержка интеграционной шины данных на базе Kafka;

• Взаимодействие с data scientist’ами и аналитиками, поддержка их в разработке (Python).

Для нас важно:

• Опыт промышленной разработки на Python от 2 лет;

• Опыт работы с ETL-фреймворками (Airflow, Prefect, Airbyte и др.) от 6 месяцев;

• Практический опыт построения сложных пайплайнов;

• Опыт проектирования схем данных и понимание методологий построения DWH;

• Уверенное знание SQL;

• Опыт участия в разработке хранилищ данных;

• Уверенные навыки работы в командной строке Linux/MacOS;

• Опыт работы с Git.

Будет плюсом:

• Знакомство с Spark;

• Опыт работы с MPP-системами и колоночными СУБД;

• Навыки DevOps: Docker, Kubernetes, GitLab-CI, настройка окружения на серверах;

• Опыт разработки сервисов (FastAPI, Flask, Django, Asyncio).

Мы предлагаем:

• Работу в стабильной компании (23 года на рынке IT-решений, резидент ПВТ)
• Помощь и поддержку в профессиональном и карьерном росте
• Программу компенсаций профессиональных сертификатов
• Хороший соцпакет (бесплатные корпоративные курсы английского языка, компенсация сумм спортивных абонементов, программа лояльности, медицинское страхование и т.д.) и отличные вечеринки.