Data Engineer

СТЕК проекта: StarRocks, dbt, Spark, Trino, Apache Iceberg, Nessie, Airflow, Kafka.

Чем нужно будет заниматься:

• построением платформы для отчетности на технологическом стеке Lakehouse (S3, Iceberg, StarRocks, Spark);

• оптимизацией своего и чужого кода на SQL, Spark;

• трансформацией данных с помощью DBT;

• написанием эффективного кода на PySpark, отвечающего требованиям производительности;

• настройкой и поддержкой DAG-ов в Airflow для оркестрации процессов;

• тестированием и отладкой кода, обеспечением качества данных;

• взаимодействием с командой и заказчиком по уточнению требований.

Что мы хотели бы видеть:

• глубокие знания SQL;
• знание архитектуры Lake House, Iceberg, StarRocks, вопросов производительности;
• опыт работы со Spark (от 2х лет), знание Pyspark, понимание Spark архитектуры;
• опыт работы с Airflow (написание и поддержка DAG-ов);
• понимание принципов распределенных вычислений (умение использовать нативные инструменты Spark);
• понимание формата Parquet;
• опыт работы с облачными хранилищами (S3 или аналоги);
• умение работать в команде и следовать процессам заказчика.

Было бы здорово, если бы был опыт работы с StarRocks, DBT, MS SQL, S3, Iceberg, Python, Kafka.

• достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе;
• работа в команде профессионалов готовых делиться экспертизой;
• официальное трудоустройство по ТК РФ, аккредитация IT, расширенный социальный пакет:

✔️ страховка ДМС (с 3-го месяца работы, стоматология, возможность подключения родственников, теле медицина, полис ВЗР),

✔️ Больничный Без Больничного 4 дня в году,

✔️ сотрудникам со стажем в Neoflex более 3 месяцев при предоставлении листка нетрудоспособности устанавливается доплата до полного заработка за период болезни,

✔️ обучение детей сотрудников ИТ специальностям,

✔️ компенсация затрат на фитнес и занятия английским языком;

• обеспечиваем техникой для работы (ноутбук, наушники, мышь);
• профессиональное развитие - в Учебном Центре (курсы по работе с большими данными, видео лекции, тренажеры, карьерный коучинг, лекции, тренинги, конференции, участие в митапах);
• возможность пройти проф.сертификацию;
• прозрачную систему карьерного развития Performance Review;
• персонального наставника с первого дня работы;
• насыщенную корпоративную жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия, мотивационные награждения;
• комфортную атмосферу в филиалах компании в городах: Москва, Санкт-Петербург, Нижний Новгород, Пенза, Воронеж, Саратов, Самара, Краснодар где есть лаунж и фотозоны, вендинги в кухнях, пространство для медитаций и другие секретные места, о которых знают только наши сотрудники;
• удалённый формат работы на территории России.

Здесь мечты превращаются в реальность. Мы будем рады, если ты станешь частью нашей команды! Откликайся ;)