ML-аналитик в сервис Нейроюрист
[Нейроюрист](https://neurolegal.ya.ru/c/about?utm_source=lpredirect) — это AI-ассистент для юристов, который помогает отвечать на правовые вопросы, анализирует документы с учётом контекста и предоставляет ссылки на источники. Он способен консультировать по широкому кругу юридических тем, разбирать договоры, сравнивать версии соглашений и выявлять правки и потенциальные риски.
Мы создаём продукт, который должен соответствовать профессиональным стандартам точности и аргументированности. Работаем с большой командой экспертов в области юриспруденции, и для нас критически важно глубоко понимать текущее качество продукта и направление его развития. Вам предстоит совершенствовать существующие подходы к оценке качества и создавать новые, более масштабируемые и воспроизводимые решения.
Задачи и обязанности
Оценка качества продукта с помощью экспертной оценки
Вам предстоит развивать и дорабатывать методологию, которая позволит ML-команде и продуктовой команде находить точки роста и извлекать инсайты из данных. Вы будете работать в тесной связке с юристами-экспертами и напрямую влиять на улучшение качества модели.
Разработка инструментов для разметки данных
Наши продукты требуют значительного объёма текстовых данных для обучения и валидации. Вам предстоит выстроить полный цикл разметки и подготовки обучающих и валидационных датасетов, организовать процессы контроля качества и обеспечить надёжность и согласованность разметки.
Сравнительный анализ качества внутренних конфигураций продукта и внешних моделей
Ваша задача — создать инструменты для статистически корректного сравнения и бенчмаркинга решений на основе экспертной разметки и автоматических методов оценки качества, чтобы команда могла принимать обоснованные решения о развитии продукта.
Требования
- Уверенно владеете SQL и Python
- Знаете математическую статистику и теорию вероятностей
- Обладаете структурным мышлением и умеете формулировать выводы на основе данных
- Понимаете основы A/B-тестирования и оценки изменений в продукте
- Знаете основы ML
Дополнительные требования
- Имеете опыт в ML
- Работали с LLM или агентами