Data Engineer / дата-инженер / инженер данных

В Айтулабс мы создаём коммуникационную платформу для b2b-продуктов. Более чем за 20 лет мы стали самой популярной IP-АТС в России – свыше 65 тысяч компаний и 500 тыс. пользователей работают в ней каждый день.

Мы масштабируем наше сотрудничество с эко-системой SaaS-продуктов, укрепляем отношения с вендорами и системными интеграторами.
Сейчас расширяем команду продуктовой аналитики и ищем дата - инженера.

Что есть у нас:

• сильная команда — работаем с опытным архитектором, аналитиком и продактами, готовыми делиться знаниями;
• современный стек — используем Python, SQL, Kafka, ClickHouse;
• интересные задачи — строим гибкое и надежное хранилище, которое собирает все данные компании, обеспечивая их качество, доступность и удобство использования. Разрабатываем ETL-пайплайны, автоматизируем обработку данных, оптимизируем хранилища и работаем с большими объемами информации;
• влияние на продукт — есть возможность предлагать решения, а не просто исполнять задачи.

Задачи:

• разработка и поддержание архитектуры хранилища данных на основе Clickhouse;

• cоздание, поддержание и оптимизация витрин данных в Clickhouse для аналитических задач;

• обеспечение качества данных: контроль, очистка, мониторинг и устранение проблем с данными;

• разработка и оптимизация процессов ETL/ELT для обработки и загрузки данных, включая обработку потоков данных;

• поддержка и развитие существующей инфраструктуры обработки данных, включая внедрение новых технологий и инструментов;

• обеспечение высокой доступности, производительности и надежности систем хранения и обработки данных;

• мониторинг и тестирование конвейеров данных, создание системы оповещения;

• взаимодействие с командами эксплуатации и мониторинга для совместного решения инфраструктурных задач систем хранения и обработки данных;

• взаимодействие с продуктовыми командами для совместного решения задач по инструментированию продукта, а также по созданию, обработке и загрузке потоков метрик;

• взаимодействие с аналитиками для выявление потребностей в данных и поддержки их аналитических задач.

Требования:

• опыт работы в роли дата-инженера от 2 лет;

• высшее техническое образование в области информационных технологий, математики или физики.

Технические навыки:

• опыт работы с базами данных: ClickHouse (обязательно), PostgreSQL, MySQL (желательно);

• знание и опыт разработки ETL/ELT процессов: Apache Airflow, dbt, Talend или аналогичные инструменты;

• уверенное владение SQL: написание сложных запросов, оптимизация запросов, проектирование схем данных;

• навыки программирования на Python: обработка данных с помощью pandas, numpy и других библиотек; опыт работы с JupyterLab;

• понимание принципов построения хранилищ данных;

• уверенные навыки работы в ОС Linux, предпочтительно Debian;

• уверенные навыки работ с системами контейнеризации Docker / Podman. Умение самостоятельно сделать и отладить образ для своих задач;

• опыт работы с системами очередей сообщений: Kafka, RabbitMQ (желательно);

• опыт работы с системами Big Data: Hadoop, Hive, Spark (будет преимуществом);

• опыт работы c BI-инструментами: Tableau, Power BI, Metabase (будет преимуществом).

Что мы готовы предложить:

• Айтулабс - аккредитованная IT- компания, оформление по ТК РФ;

• возможность работать удаленно и гибко планировать свой график работы. Как правило, основная активность в компании происходит с 10 до 19, но можно начать раньше или позже;

• сложный и захватывающий проект. Хардкорные практики - мы переизобретаем телеком, внедряя современные технологии и важные для пользователя фичи;

• развитие продукта, идущего в ногу со временем, а значит и собственный рост; регулярные внутренние meet up, посвященные технологиям в нашей области;

• коллектив, где каждый готов ответить на вопросы и поделиться тем, что знает сам. Плоская система управления и быстрое принятие решений.
  
  Добро пожаловать в Айтулабс!