Data Engineer

Обязанности:

• Поддержка работоспособности и дальнейшее развитие хранилища данных
• Разработка и поддержка ETL-процессов для загрузки данных из различных источников (FTP, API, сайты) с использованием Python
• Преобразование данных из форматов XML, JSON и других в табличную структуру;
• Разработка витрин данных с использованием SQL, Python, PySpark;
• Разработка и поддержка дагов в Airflow
• Реализация batch и real-time процессов загрузки данных в различные СУБД: Vertica, PostgreSQL, ClickHouse, DB2
• Развитие системы мониторинга качества данных;
• Декомпозиция и оценка трудозатрат по своим задачам;
• Code-review, развитие внутренней культуры разработки(в перспективе);
• Ведение технической документации и базы знаний

Требования:

• Законченное высшее образование
• Базовое понимание архитектуры распределённых систем и Big Data технологий (Hadoop, Spark — будет преимуществом)
• Уверенное владение SQL, опыт написания сложных запросов с подзапросами, оконными функциями и регулярными выражениями, навыки оптимизации запросов
• Навыки программирования на Python, понимание чужого кода, способность писать читаемый и поддерживаемый код
• Понимание принципов работы Git-систем
• Понимание принципов работы систем оркестрации (Airflow)
• Знание основных команд Linux на уровне пользователя
• Знание английского языка на уровне чтения технической документации
• Готовность разрабатывать и поддерживать в актуальном состоянии техническую документацию
• Умение эффективно взаимодействовать в команде, делиться знаниями и помогать коллегам
• Заинтересованность в личном развитии и развитии города
• Релевантный опыт работы от работы 1 года

Наши условия:

• Заработная плата обсуждается индивидуально в зависимости от опыта кандидата;
• Отпуск 42 дня;
• Бесплатный проезд в метро и по железным дорогам в пригородном сообщении от места жительства до места работы и обратно в пределах Московской области;
• Корпоративные скидки от компаний- партнеров;
• Льготы на отдых в оздоровительном комплексе метрополитена;
• Детский оздоровительный лагерь и детский клуб;
• График: гибрид (1 день в офисе);
• Локация: офис в центре Москвы, м. Белорусская;
• Наша команда — это лучшие эксперты, талантливые, креативные, яркие личности и просто хорошие люди. Да, все такое пишут, банально, но это факт. По отзывам наших сотрудников — это одно из самых больших преимуществ нашей работы;
• Развитие: мы непрерывно учимся новому у внешних и внутренних экспертов, прокачиваемся не только в IT, а и в транспортной и городской тематике. У нас огромное количество проектов, на которых можно быстро профессионально развиваться. Опытные руководители и наставники. Возможность посещения различных курсов и тренингов от корпоративного университета Департамента транспорта;
• Стабильность: Московский транспорт работает для жителей и гостей города при любых условиях. Уникальное сочетание энергии IT компании, стабильности и ресурсов ГОСа;