Python Developer (DWH)

Команда занимается развитием и поддержкой корпоративного хранилища данных в Лаборатории Касперского.

Мы создаем ядро современной Customer Data Platform (CDP) — систему, которая становится единым источником правды о клиентах для всего бизнеса. Платформа предназначена для сбора, унификации и обработки near real time больших объемов клиентских данных из различных источников данных (брокеры сообщений, реляционные БД, REST API).

Вам предстоит:

• Участвовать в разработке и поддержке ядра CDP;
• Проектировать и реализовывать высоконагруженные микросервисы на Python для приема и обработки данных;
• Проектировать схемы хранения и оптимизировать запросы в MS SQL Server и Clickhouse;
• Предлагать технические решения и внедрять передовые практики в области качества кода, безопасности, отказоустойчивости и производительности сервисов;
• Работать с системами потоковой обработки данных;
• Разрабатывать unit-тесты и мониторинг для обеспечения стабильности и прозрачности работы сервисов;
• Участвовать в CI/CD процессах, релизах, деплоях и операционной работе — от первых запусков до масштабирования;
• Оказывать наставничество и поддержку бэкенд-разработчикам, проводить код-ревью.

Мы ожидаем от Вас:

• Уверенное владение Python 3.11+;
• Опыт работы с реляционными базами данных: MS SQL Server или PostgreSQL;
• Опыт работы с SQLAlchemy, Pydantic;
• Опыт работы с контейнеризацией - Docker, ;
• Опыт интеграции с системами через Kafka, RabbitMQ, REST API;
• Понимание архитектурных паттернов: CQRS, Saga, Event Sourcing, CDC, Transactional Outbox;
• Опыт использования Apache Airflow для оркестрации процессов;
• Умение писать интеграционные, функциональные и unit-тесты;
• Опыт работы с большими объемами данных и оптимизации производительности.

Будет плюсом:

• Опыт работы с С#;
• Опыт работы с Hadoop, S3, Clickhouse;
• Опыт работы с Spark;
• Опыт работы с Prometheus, Grafana.
• Опыт работы с Kubernetes.