ML Research Engineer (LLM)

Привет, я Виктор Комаров, основатель IntellectDialog.

О нас

Мы - AI-стартап, резиденты Astana Hub, разрабатывающий решения на базе больших языковых моделей. Ищем инженера-исследователя для выполнения следующих задач:

1. Интеграция с API OpenAI и другими LLM-сервисами:

• Разработка и поддержка интеграции с API OpenAI и других языковых моделей для выполнения запросов в реальном времени.
• Поддержка функционала API, включая настройку параметров запросов, обработку ответов и реализацию проверок на ошибки.

2. Отладка запросов и мониторинг:

• Разработка и внедрение решений для отладки и мониторинга запросов и ответов от LLM-моделей через API.
• Настройка логирования для детальной трассировки запросов, выявления ошибок и узких мест.
• Мониторинг производительности системы (время отклика, качество ответов, затраты на вычисления и т. д.) с помощью инструментов, таких как Langfuse, LangSmith, Helicone.
• Создание системы оповещений при возникновении ошибок или отклонений от ожидаемой работы.

​​​​​​​​​​​​​​3. Оптимизация работы с API:

• Работа с инструментами трассировки и мониторинга, для отслеживания состояния модели, запросов, ответов, параметров работы в реальном времени.
• Выявление и устранение сети и задержек, оптимизация скорости запросов через API.
• Оптимизация использования API (например, по количеству токенов, частоте запросов, стоимости вычислений).

4. Анализ и улучшение качества моделей:

• Разработка методов сбора и анализа обратной связи от пользователей для повышения качества моделей.
• Ручная аннотация данных для улучшения работы модели.
• Создание и внедрение пользовательских функций оценки качества ответов модели и оценки эффективности запросов через API.
• Тестирование различных параметров модели для улучшения качества работы в различных сценариях.

Требуемый опыт и компетенции:

1. Опыт работы с API:

   • Практический опыт разработки и интеграции с OpenAI API и другими API на базе LLM.
   • Опыт работы с RESTful API, опыт написания запросов и обработки ответов.
   • Опыт работы с аутентификацией и безопасностью API (например, использование токенов, OAuth).
   • Знание JSON, HTTP/HTTPS, понимание основ работы с сетью и сетевыми протоколами.

2. Знание и опыт работы с языковыми моделями (LLM):

   • Опыт работы с LLM (например, OpenAI GPT и другие модели), понимание их возможностей и ограничений.
   • Знание принципов работы и настройки параметров LLM, таких как temperature, max_tokens, top_p и т. д.
   • Опыт работы с фреймворками, такими как LangChain, LlamaIndex, Haystack и другими, для интеграции с моделями.

3. Отладка и мониторинг:

   • Опыт с инструментами мониторинга и отладки, такими как Langfuse, LangSmith, Helicone.
   • Умение собирать и анализировать логи запросов и ответов, умение работать с метками ошибок и корректировать запросы.
   • Знание подходов для трассировки запросов, анализа производительности и устранения узких мест.

4. Оптимизация и тестирование:

   • Опыт работы с инструментами для оптимизации производительности API-запросов и минимизации затрат (например, анализ задержек, использование кеширования, оптимизация частоты запросов).
   • Умение работать с инструментами для тестирования моделей, написания юнит-тестов и интеграционного тестирования.
   • Опыт анализа метрик (например, время отклика, количество токенов, стоимость запросов).

Условия

• Удаленная работа
• Гибкий график - работаете когда удобно
• Почасовая оплата
• Возможность экспериментировать и влиять на архитектуру решения
• Доступ к GPU для экспериментов
• Работа в международном проекте под эгидой Astana Hub

Почему к нам

• Работа с актуальными технологиями в сфере AI
• Возможность применять новейшие исследования на практике
• Отсутствие бюрократии - быстрое внедрение идей
• Прямое влияние на развитие продукта
• Участие в развитии международного AI-стартапа

Заинтересовались?

Расскажите немного о своем опыте работы с LLM - это поможет нам лучше познакомиться!

Напишите короткое сообщение о:

• Вашем опыте работы с языковыми моделями
• Интересных проектах или исследованиях
• Почему вам интересна эта позиция