Big Data Engineer (Clickstream)

Мы в поиске Middle Big Data Engineer в направление дата инжиниринга, который будет участвовать в разработке проекта Clickstream.

Ключевая задача: спроектировать и разработать дата-контур для построения различных Near Real Time отчетов и витрин данных, основанных на потоковых событийных данных ClickStream. Для этого требуется разработать потоки загрузки и обработки данных в ClickHouse.

Чем предстоит заниматься:

• Разрабатывать процессы по сбору, обработке и загрузке данных кликстрима;
• Спроектировать и реализовать схему хранения данных в Hadoop и Clickhouse;
• Собирать требования к данным от пользователей, строить мониторинг и data quality ;
• Решать задачи, связанные с внедрением облачной инфраструктуры;
• Создавать стабильные отказоустойчивые и масштабируемые аналитические сервисы;
• Анализировать и внедрять инструменты инжиниринга данных.

Мы ожидаем:

• Опыт работы с ClickHouse;
• Опыт работы со стеком Hadoop (YARN, HDFS, Hive);
• Опыт работы в Spark и Spark Streaming/Flink;
• Понимание инфраструктуры Apache Kafka;
• Владение одним из языков программирования (Java, Scala).

Будет плюсом:

• Опыт сбора и обработки требований;
• Опыт работы с Docker.