Тестировщик LLM, Generative AI, Multimodal Models

О проекте

Наша команда создаёт инструменты для тестирования, бенчмаркинга и оптимизации Large Language Models (LLM) и мультимодальных систем, работающих с текстом, изображениями и другими данными. Ищем тестировщика, который поможет обеспечить качество и производительность наших моделей, участвуя в тестировании, анализе и автоматизации процессов.

• Тестирование Large Language Models (LLM) и мультимодальных моделей: проверка качества ответов, точности, скорости и потребления ресурсов
• Проведение бенчмарков моделей: сравнение производительности, метрик качества и стабильности
• Подготовка и обработка датасетов (текст, изображения, смешанные данные) для тестирования моделей
• Разработка и выполнение тестовых сценариев для LLM-агентов (по типу Cline, kilocode, Roocode)
• Документирование результатов тестирования и выявленных проблем
• Взаимодействие с разработчиками и исследователями для обсуждения багов, улучшений и новых фич

• Опыт использования LLM (ChatGPT, Grok, Claude, Qwen, Deepseek, Gemini) для задач тестирования, анализа данных или генерации тестов
• Базовые навыки работы с Linux (Ubuntu/Debian)
• Английский язык — на уровне чтения технической документации

• Опыт работы с Python для написания тестов или скриптов
• Умение писать простые bash-скриптов для автоматизации задач
• Опыт работы с Git: ветки, merge requests, ревью
• Опыт тестирования LLM или мультимодальных моделей: бенчмаркинг, finetuning, RAG, инференс
• Знакомство с библиотеками Hugging Face, Transformers, vLLM, 011ama, llama.cpp
• Опыт работы с текстовыми или мультимодальными датасетами (обработка, очистка, анализ)
• Знание инструментов автоматизации тестирования (pytest, unittest)
• Навыки документирования тестов и баг-репортов
• Умение вести документацию

Мы предлагаем:

• Участие в реальных проектах по разработке и тестированию LLM и мультимодальных моделей
• Доступ к современным моделям и инструментам Generative AI.
• Возможность работать с мощными GPU-сервисами
• Гибкий график и поддержка профессионального роста
• Дружная команда, открытая к новым идеям и гипотезам