Мы — команда специалистов, создающая сервисы и компоненты для платформы внутренней безопасности, а также разрабатывающая AI-агенты для выявления внутренних угроз и мошенничества. Нам нужен специалист, способный эффективно анализировать табличные и текстовые данные, необходимые для построения AI-агентов.
Ищем Data Engineer c уклоном в Data Science, которому предстоит заниматься извлечением, подготовкой и очисткой данных, а также поддержкой моделей машинного обучения. Мы предлагаем карьерный рост как в Data Engineering, так и в Data Science направлениях. Ты станешь частью команды опытных инженеров и аналитиков, работающих над сложными проектами в сфере информационной безопасности.
· Анализ структур данных в разных источниках и форматов, оценка их пригодности для конкретных бизнес-задач;
· Загрузка, обработка и преобразование больших объемов данных из разнородных хранилищ (Oracle, Teradata, MS SQL, GreenPlum) в рабочие среды (GreenPlum, Hadoop);
· Проектирование и создание аналитических витрин данных;
· Подготовка и препроцессинг данных для обучения моделей машинного обучения;
· Мониторинг и оптимизация рабочих процессов обработки и загрузки данных;
· Контроль качества входных данных и автоматизация проверки качества данных;
· Разработка инфраструктуры и внутренних сервисов для эффективной обработки больших объемов данных;
· Автоматизация повторяющихся операций с данными;
· Создание технической документации и поддержка баз знаний по работе с данными;
· Консультация пользователей внутри компании по вопросам использования данных.
· Опыт работы от 1 года в роли Data Engineer, Data Analyst или ETL-разработчика;
· Продвинутый уровень владения SQL (аналитические функции, подзапросы, хранимые процедуры, производительность запросов);
· Практический опыт работы с большими объемами данных в реляционных СУБД (Oracle, Teradata, MS SQL, GreenPlum);
· Понимание концепции и принципов организации хранилища данных (DWH);
· Преимуществом будет наличие опыта проектирования витрин данных;
· Полезным будет знакомство с технологиями экосистемы Big Data (Hadoop, Spark, Hive/Impala);
· Базовые знания банковской сферы будут дополнительным плюсом;
· Приветствуется опыт работы в гибких методологиях управления проектами (Agile, SCRUM, Kanban).
Дополнительные ожидания:
· Желаемый опыт работы от 2-х лет в смежных ролях (DE, DS, Python-разработчик);
· Хорошее знание SQL, включая работу с аналитическими функциями, подзапросами, процедурами и функциями, оптимизацию производительности запросов;
· Работа с технологическим стеком Hadoop (HDFS, YARN, Hive) и Apache Spark;
· Опыт программирования на Java/Scala;
· Готовность глубоко погружаться в изучение архитектуры существующих баз данных и документации по структурам данных;
· Понимание базовых принципов построения распределенных систем хранения и обработки данных.
Будет плюсом:
· Опыт переноса и интеграции больших объемов данных между разными источниками;
· Владение инструментами системы контроля версий (например Git);
· Начальные знания и интерес к развитию в области Machine Learning и Data Analysis;
· Осведомленность в процессах ETL и технологиях хранилищ данных (DWH).