Аналитик-разработчик в Нейроэксперт

Врачи, учителя, юристы, маркетологи, журналисты, аналитики или мастера D&D — многим приходится постоянно анализировать большие объёмы информации: учебники, инструкции, документацию, отчёты и записи встреч. С этим может помочь Нейроэксперт — сервис ответов на вопросы по базам знаний, созданным пользователями. Он работает на базе генеративной нейросети Alice AI LLM и поддерживает документы практически любого формата и объёма. На выходе — пересказ видео или аудио, анализ трат по таблице Excel, выжимка из свода законов, основные тезисы презентации и многое другое.

Компаниям Нейроэксперт помогает решать рабочие задачи по базам знаний — например, отвечать на частые вопросы клиентов или организовывать RAG-системы для внутреннего использования. А ассистент Алиса Про работает как помощник внутри Яндекс Почты.

Задачи и обязанности

Приёмка качества

В Нейроэксперте новые гипотезы проверяются несколько раз в неделю, поэтому важно выстроить чувствительную и интерпретируемую приёмку качества сервиса. Задача усложняется тем, что в Нейроэксперте каждый запрос сопровождается обширной базой знаний. Здесь нам на помощь приходят бенчмарки длинного контекста, LLM-as-a-judge и адаптации традиционных разметок на AI-тренерах (среди них: лингвокриминалист, эксперт-биолог по мхам, пилот, электрофизиолог, пресс-атташе клуба РФПЛ, инструктор по дайвингу).

Развитие технологии

Вам предстоит выявлять проблемные срезы и улучшать их совместно с ML-командой. Мы детально изучаем результаты замеров, проводим продуктовые исследования потока, собираем качественные данные для дообучения моделей. Для улучшения конкретных частей пайплайна мы разрабатываем собственные бенчмарки и метрики. Наработки, полученные в Нейроэксперте, впоследствии используются для улучшения базовых моделей Alice AI LLM.

Улучшение продуктов

Нейроэксперт как технология присутствует в различных сервисах Яндекса: это и чат с Алисой, и ответы Алисы в Яндекс Браузере, и Яндекс Почта (Алиса Про). Поток запросов в каждом продукте специфичен и требует отдельной проработки как на уровне обучающих пулов, так и на уровне приёмки. Мы формулируем требования и адаптируем технологию под конкретные сценарии.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Требования

• Работали над метриками в ML
• Уверенно владеете SQL и Python
• Не боитесь работать с текстовыми данными и умеете искать точки роста
• Знаете теорию вероятностей и математическую статистику
• Интересуетесь развитием LLM и хотели бы погрузиться в эту тему

Дополнительные требования

• Работали с LLM
• Делали крауд-разметки, знаете Толоку или другие краудсорс-платформы