Senior ML QA-analyst

Чем предстоит заниматься:

• Разработка общей стратегии и плана тестирования ML-моделей;
• Подготовка и управление данными для тестирования ML-моделей;
• Автоматизация тестирования, разработка новых и дополнение существующих CI/CD-пайплайнов;
• Разработка программных пакетов, ускоряющих и упрощающих процессы тестирования и валидации при разработке;
• Ручная валидация и оценка ML-моделей (leakages, stabilitiy, drifts) в production;
• Участие в разработке метрик здоровья ML-моделей, их мониторинг и поддержка в production-окружении;
• Совместное с разработчиком составление документации.

Что мы ждём:

• Python (продвинутый уровень);
• SQL (продвинутый уровень);
• Фреймворки тестирования и мониторнинга (PyTest, Robot framework, Hypothesis, Great Expectations, Evidently AI, Locust, JMeter);
• ML- и ETL-оркестраторы (Airflow, Kubeflow Pipelines, Dagster, Luigi, Kedro);
• CI/CD-инструменты (TeamCity, Jenkins, GitLab);
• VCS (Github, Bitbucket), pre-commit hooks;
• Linux, bash;
• Глубокое понимание основных этапов и подходов к разработке ML-моделей, знание метрик и частых ошибок;
• Знание теории тестирования;
• Умение разбираться в чужом коде и находить в нем ошибки.