Senior Data Engineer/Синьор Дата Инженер

Медиапоинт - международный провайдер высокотехнологичных решений в индустрии онлайн-развлечений.

В настоящий момент мы в поисках Senior Data Engineer/Синьор Дата Инженер!

• Разработка ядра хранилища на базе распределенного кластера ClickHouse;

  • Проектирование и поддержка архитектуры кластера ClickHouse совместно с архитектором;

  • Оптимизация репликации и балансировки нагрузки для обеспечения высокой производительности и стабильности;

• Создание шаблонных (эталонных) пайплайнов данных;

  • Создание шаблонных пайплайнов для получения сырых данных, расчёта витрин и детального слоя хранилища;

  • Проведение код-ревью ETL-процессов в Apache Airflow, Prefect, dbt и Kafka Connect на соответствие архитектуре и code style;

• Анализ и улучшение процессов;

  • Анализ источников данных и их потребителей; предложения по улучшению работы пайплайнов;

  • Анализ архитектуры данных на логическом, концептуальном и физическом уровнях;

• Командная работа и документация;

  • Декомпозиция задач для инженеров данных;

  • Эффективное взаимодействие в команде;

  • Подготовка и актуализация технической документации;

• Мониторинг и оптимизация производительности;

  • Мониторинг платформы данных с помощью Grafana;

  • Улучшение производительности системы и устранение узких мест;
    
    Наш технологический стек:

    • Базы данных: ClickHouse, PostgreSQL, MySQL;

    • Обработка данных: Kafka Connect, Apache Airflow, Apache Spark, dbt, Prefect;

    • Визуализация: Superset, JupyterHub, Power BI;

    • Инфраструктура: Kubernetes, Ansible, GitLab, Teleport, Grafana, Prometheus;

    • Управление проектами и документация: Jira, Confluence, Archimate;

• Подтверждённый экспертный опыт работы с распределенным кластером ClickHouse;

• Глубокое понимание принципов организации хранилищ данных и архитектуры DWH;

• Опыт проектирования и внедрения аналитических систем и хранилищ данных;

• Великолепное владение SQL и Python;

• Глубокая экспертиза в операционных системах семейства Linux;

• Опыт внедрения процессов DataOps: Git, CI/CD, Kubernetes;

• Приветствуется опыт работы с Apache Spark;

• Высшее техническое образование;

• Владение русским языком не ниже уровня C1;

• Владение английским языком на уровне чтения технической документации;

Что мы можем предложить:

• Возможность полностью работать удаленно из любой точки мира или в офисе (Москва, Кипр) для желающих поработать в формате коворкинга или с закрепленным рабочим местом;

• Оформление в штат компании и не только;

• Возможность получать зп в любой валюте;

• Плавающее начало дня, 8 часов рабочий день;

• Разнообразные корпоративные программы.