Архитектор
Архитектор
Москва, улица Двинцев, 12к1Б
Метро: Марьина РощаОписание вакансии
Чем предстоит заниматься:
- Готовить архитектурные скетчи ETL-процессов и согласовывать их.
- Участвовать в построении/развитии хранилища данных компании.
- Проводить финальную проверку корректности работы ETL-процессов после того, как разработка реализует их.
- Сопровождать документацию по разрабатываемым и внедряемым решениям.
- Проектирование и оптимизация высоконагруженных BigData-решений на базе Hadoop, Spark, Apache Airflow.
- Разработка и поддержка ETL/ELT-процессов, Data Pipeline и DAG-задач в Airflow.
- Знать принципы построения хранилищ данных и иметь практические навыки работы с ними.
- Уметь проводить анализ данных
- Опыт работы с Hadoop-экосистемой (HDFS).
- Глубокие знания Apache Spark (оптимизация запросов, настройка памяти, партиционирование).
- Опыт проектирования и управления Airflow DAGs.
- Уверенное владение Python, Scala или Java (для разработки скриптов и приложений).
- Знание SQL.
- Опыт работы с облачными сервисами (S3).
- Возможность выбирать формат работы – офис, гибрид, удаленка
- Официальное оформление, гарантируем соблюдения трудового кодекса РФ
- Расширенную медицинскую страховку (включая стоматологию)
- Используем современный стек технологий и открыты к внедрению новых инструментов
- Мы умеем быстро подстраиваться под изменения, и у нас внутри гибкие процессы
- Наши заказчики – крупные компании на российском медиарынке, у нас разные проекты от значимых до очень значимых
- Работа в аккредитованной IТ-компании
Навыки
- Hadoop
- Apache Spark
- Python
- Scala
- Java
Адрес
Похожие вакансии
Удаленная работа
Москва
до 525000 RUR
Архитектор решений / Ведущий инженер систем управления производством
Инфосистемы Джет
Удаленная работа
Москва
до 525000 RUR
Удаленная работа
Москва
до 4000 USD
Удаленная работа
Москва
до 4000 USD