Разработчик ETL / DWH (junior or middle)

Мы являемся частью цифрового блока ОАО «РЖД» и в настоящее время находимся в поиске сотрудника для одного из наших бизнес-юнитов, который занимается исследованием и разработкой программных продуктов.

Мы строим платформу аналитической обработки больших данных. Она реализует Data-Driven Decision Making подход в управлении продуктом - позволяет собирать разрозненные данные из множества источников и объединять их в единое информационное поле для принятия управленческих решений. Это сложный многокомпонентный продукт, основанный на свободно распространяемом ПО, и объединенный в единую экосистему. Наша задача - адаптация лучших Big Data практик для решения бизнес-задач и оформление их в виде целостного продукта удобного для использования.

Миссия вакансии:

Разрабатывать предметно-ориентированный фреймворк загрузки и анализа данных аналитической платформы. Мы делаем сложные вещи простыми и надежными.

Чем предстоит заниматься:

• Построение предметно-ориентированного хранилища по методологии Data Mesh.

• Разработка инструментов автоматизации ETL-процесса.

• Дизайн логических слоев и эталонных практик их использования.

• Автоматизация типовых операций обработки данных в хранилище.

• Документирование разработанных решений.

• Обучение проектных команд разработанным практикам.

• Помощь проектным командам в устранении инцидентов.

• Исследование новых технологий и практик для построения DWH.

Технологии и инструменты Проекта:
Programming languages: Python, Scala.
ETL: Kafka, Airflow, PXF, DBT.
Data Lake: HDFS, YARN, Zookeeper, Spark2.
DWH: Postgre SQL, Greenplum.
Monitoring: Prometheus, Grafana.
Security: Knox, Apache Ranger and KMS.
CI/CD & IaC: Gitlab, Jenkins, FlywayDB, Ansible.

Мы ожидаем от кандидата:

• Практический опыт разработки на промышленных БД от года (Oracle/PostgreSQL/MS SQL и др.)

• Опыт продуктовой разработки на Python.

• Знание SQL на высоком уровне.

• Опыт оптимизации запросов.

Будет плюсом:

• Знание Scala/Java, или других современных ООП языков программирования на высоком уровне.

• Опыт с DBT Core.

• Опыт построения хранилищ данных.

• Знание методологий построения хранилищ: Инмон, Кимбалл, Data Mesh.

• Знание моделей нормализации данных: звезда, снежинка, Data Vault, EAV, Anchor model.

• Опыт работы с MPP RDBMS: Greenplum, Teradata, Vertica, Clickhouse, Starrocks.

• Опыт работы с большим объемом данных (более 10 Тб).

• Знание любых ETL/ELT-фреймворков: Airflow, Informatica, ODI, NIFI, Talend и др.

Мы предлагаем:

• Работу в аккредитованной ИТ-компании, занимающейся разработкой софта, обеспечивающего непрерывность перевозочного процесса и эксплуатацией критической инфраструктуры РЖД.

• Трудоустройство по ТК РФ, оклад - размер которого зависит от уровня: junior / middle и ежегодная индексация заработной платы.

• Дружный проактивный коллектив, собранный со всей России.

• Гибкое начало рабочего дня.

• ДМС после прохождения испытательного срока.

• Работа в г. Сочи (Адлерский р-н, возле Олимпийского парка).

• Комфортный офис со спортзалом на территории Олимпийского парка в 500 метрах от моря.

• Лучшие экология и климат в России. Море и горнолыжный курорт рядом. Пробежки по набережной, клуб чаепития и др. интересности.