Чем предстоит заниматься:
- Разработка скриптов для проведения обработки и анализа данных с использованием нейронных сетей и облачных фреймворков;
- Разработка скриптов для автоматизации процессов разработки;
- Разработка пайплайнов для решения прикладных задач, в частности, поиска и фильтрации данных.
Что мы ждем от кандидата:
- Разработка на языке Python;
- Хорошее знание SQL;
- Был опыт обработки данных с использованием Python (Pandas/Polars);
- Знакомство/знание Spark и Airflow (в зависимости от уровня);
- Опыт работы/знакомство с Clickhouse (в зависимости от уровня).
Будет плюсом++
- Опыт работы с Airflow/Luidgi/Dagster;
- Опыт работы с S3 подобными системами хранения;
- Опыт работы с большими данными (PySpark etc);
- Опыт работы с BI инструментами (Metabase, Superset, DataLens).