Ключевые задачи:
- Развивать хранилище данных на Greenplum: структура слоёв данных, правила хранения, обновления и доступа.
- Делать загрузки данных из систем компании (например: 1С, биллинг, ITSM и др.): регулярные и инкрементальные обновления, обработка ошибок, повторный запуск, журналирование.
- Готовить «витрины данных» для аналитики и отчетов: корректные расчёты показателей, единые справочники, понятные определения полей.
- Следить за качеством данных: проверки полноты, уникальности, корректности, выявление «битых» данных и причин.
- Оптимизировать запросы и скорость работы хранилища: правильное распределение данных, партиции, статистика, разбор планов выполнения запросов.
- Вести документацию по витринам и полям, делать ревью и передавать знания команде.
Навыки, которые нам необходимы:
- Опыт работы инженером данных от 2–4 лет;
- Сильный SQL: сложные запросы, оконные функции, оптимизация, умение читать план выполнения запроса;
- Практический опыт Greenplum и PostgreSQL: распределение данных, партиции, статистика, обслуживание (анализ, очистка);
- Понимание, как строятся витрины (факты/измерения), как хранить историю изменений (типы 1/2);
- Умение делать загрузки данных и поддерживать их стабильность (расписание, контроль ошибок, мониторинг);
- Python для работы с данными и автоматизации (скрипты, проверки, загрузки);
- Аккуратность в данных: внимательность к деталям, ответственность за результат;
- Предпочтителен опыт потоковой передачи данных Kafka, RabbitMQ и тд;
- Опыт инструментов для управления загрузками (планировщик задач, оркестрация);
- Понимание требований со стороны BI-отчетов (Qlik / Power BI) и умение готовить данные;
- Опыт с каталогом данных и правилами владения данными.
То, что ждет вас в команде:
- Договор по ДВОУ;
- Работа в стабильной и динамичной Компании.