Senior Data Platform Engineer

О нас:
HuntIT - это передовое рекрутинговое агентство, которое специализируется на поиске и подборе высококвалифицированных специалистов в сфере IT и Digital, сотрудничает с ведущими IT-компаниями, рекламными агентствами и работает над крупными проектами.

О компании-заказчике:
01.tech – IT-компания, создающая передовые веб-платформы, оказывающие влияние на мировую индустрию!
Основная цель – создание высоконагруженных систем, ежедневно обрабатывающих десятки тысяч запросов в секунду, терабайты данных и поддерживающие более 100 миллионов пользователей по всему миру.

В связи с активным расширением 01.tech мы находимся в поисках Senior Data Platform Engineer.

Твоя миссия:
Спроектировать и выстроить следующее поколение нашей платформы данных, чтобы сделать работу десяткой дата-инженеров и сотен аналитиков максимально эффективной, стандартизированной и надежной.

Чем ты будешь заниматься:

• Создавать основу данных компании: В сотрудничестве с DataOps ты будешь разрабатывать и поддерживать ядро нашей платформы — платформенные ETL-сервисы, высоконагруженные CI/CD пайплайны, прозрачный мониторинг и многое другое.
• Развивать экосистему Airflow: Ты не просто будешь писать плагины, а создашь внутренний фреймворк для Airflow, который станет стандартом для всех инженеров компании по созданию отказоустойчивых и наблюдаемых DAG.
• Умножать производительность команды: Ты разработаешь ключевые Python-библиотеки и инструменты (в том числе с использованием dbt), которые абстрагируют сложность и позволяют дата-инженерам и аналитикам сосредоточичиться на логике, а не на инфраструктуре.
• Принимать архитектурные решения: Ты будешь влиять на выбор технологий и архитектурных паттернов для работы с большими данными (Spark, Iceberg) и аналитическими СУБД (ClickHouse, Vertica), обеспечивая масштабируемость и производительность на годы вперед.

Наш стек и твои будущие инструменты:

• Основной язык и экосистема: Python — это наш основной язык для платформы. Ожидаем глубокое понимание возможностей и ограничений, асинхронности, паттернов проектирования и создания надежных библиотек.
• Оркестрация & Инфраструктура: Apache Airflow (кастомизация, плагины), Kubernetes, Docker , GitLab CI/CD.
• Данные & Аналитика: Apache Spark, dbt, ClickHouse, Apache Iceberg. Опыт работы с различными СУБД (PostgreSQL, Greenplum, Vertica) и умение писать SQL для анализа и отладки необходимы.

Будет значительным преимуществом:

• Мы ценим глубокое системное мышление и стремление к профессиональному росту. Нас особенно впечатлят:
• Приверженность мастерству: Сертификаты или курсы по инженерии данных, а главное — портфолио на GitHub с реализованными проектами, которые демонстрируют ваш подход к решению сложных задач.
• Опыт с высоконагруженными пайплайнами: Практика построения отказоустойчивых потоков данных не только на Apache Airflow, но и с применением Kafka для обработки данных в реальном времени.
• Архитектурная грамотность: Глубокое понимание принципов построения корпоративных хранилищ данных и современных архитектурных парадигм, таких как Data Mesh.
• Экспертиза в безопасности: Знание и практическое применение основ безопасности данных (работа с ПД, управление доступом, шифрование), что критически важно для создания надежной и доверенной платформы.

Условия:

• Качественный опыт, рост скиллов и максимально комфортная рабочая атмосфера;
• Гибкое начало рабочего дня с 9:00 до 11:00 по МСК;
• Удалённый или гибридный формат работы(офисы Питер, Москва или Белград);
• Полностью оборудованное рабочее место с предоставлением техники;
• ДМС со стоматологией после испытательного срока;
• Компенсация занятий спортом, английского языка и сессий с психологом;
• Зоны отдыха с настольным теннисом, самокатами и кухней;
• Корпоративная библиотека;
• Корпоративы с выездами на природу и призами, тимбилдинги, мастер-классы и т. д.