Data Engineer

Проект

Мы занимаемся построением хранилища данных для внутренних нужд команды. Внедрением актуальных инструментов для работы с данными. Автоматизацией рутинных задач. Созданием инструментов генерации кода, в том числе с применением AI. Ищем Data Engineer (Инженер данных) с сильным уклоном в разработку инструментов для повышения эффективности разработки и снижения порога входа.

• 3+ года коммерческой разработки на Python.Знание современных стандартов (Python 3.8+), асинхронного программирования, популярных фреймворков (FastAPI, Flask - для инструментов), библиотек для работы с данными (Pandas, NumPy - хотя бы базово), тестирования (pytest).

• 2+ года опыта в роли Data Engineer или в проектах, связанных с построением и поддержкой ETL/ELT пайплайнов, использованием Big Data технологий (особенно Spark).

• SQL: Экспертный уровень. Сложные запросы, оптимизация, понимание различий в диалектах (BigQuery, PostgreSQL, Spark SQL и т.д.).

• Опыт с Apache Spark (PySpark). Знание концепций распределенных вычислений.

• Опыт работы с Airflow (предпочтительно) или аналогичными. Умение создавать и поддерживать сложные DAG.

• Понимание различий и применение: Data Warehouses, Data Lakes, NoSQL (знание принципов, возможно опыт с MongoDB).

• Базовое понимание Kafka.

• Системы контроля версий (Git - продвинутое использование).

• CI/CD (GitHub Actions, GitLab CI, Jenkins).

• Контейнеризация (Docker).

• Управление зависимостями (poetry, pipenv).

• Опыт создания инструментов для автоматизации рутинных задач, шаблонизации кода, внутренних CLI, Low-Code/No-Code платформ для аналитиков или начинающих разработчиков.

• Глубокое понимание принципов метапрограммирования, шаблонизации (Jinja2, Mako), AST (Abstract Syntax Tree) манипуляций в Python.

• Интеграция с AI/LLM : Опыт использования API OpenAI (GPT), Anthropic Claude, локальных LLM (через Hugging Face Transformers, llama.cpp и т.д.) для создания ассистентов, автодополнения, генерации кода/тестов/документации.

• Создание инструментов для анализа, оптимизации или генерации SQL-запросов на основе метаданных или конфигурации.

• Умение понять боль пользователя (разработчиков, аналитиков) и предложить эффективное инструментальное решение. Способность видеть общие паттерны в рутинных задачах и автоматизировать их.

• Четкое взаимодействие с командой (разработчики, аналитики, продакты), документирование инструментов, проведение демо.

• Будет плюсом наставничество: Готовность помогать коллегам в использовании созданных инструментов.

• Глубокий анализ проблем и поиск оптимальных решений.

• Быстрое освоение новых технологий, особенно в области AI/LLM и инструментов разработки

• Возможность профессионального и карьерного роста в компании

• Возможность поучаствовать в разных проектах

• Опыт работы в распределенной команде профессионалов

• Уровень заработной платы обсуждается индивидуально

• Оформление в соответствии с ТК РФ в Bell Integrator https://bellintegrator.ru/

• Формат работы Гибрид: МСК/ Вавилова 19
  Допускается удаленный формат работы с готовностью приезжать в офис в случае необходимости.