ML-аналитик в команду продукта Нейросейлз

Нейросейлз — это новый AI-ассистент для отдела продаж, который помогает находить перспективных клиентов, ведёт с ними переговоры и предоставляет менеджерам интеллектуальные подсказки. Наш помощник способен автоматически взаимодействовать с клиентами через голосовые и текстовые каналы, а также анализировать диалоги в реальном времени для предложения оптимальных стратегий коммуникации.

Мы создаём продукт, который должен соответствовать стандартам эффективности лучших sales-специалистов. Мы работаем с командой экспертов в области продаж и технологий, и для нас критически важно глубоко понимать, насколько наши решения уверенно и успешно справляются с задачами. Вам предстоит совершенствовать существующие подходы к оценке качества AI-моделей и создавать новые, более масштабируемые и воспроизводимые решения, влияющие на бизнес-метрики компании.

Задачи и обязанности

Оценка качества продукта с помощью экспертной оценки

Вам предстоит развивать и дорабатывать методологию, которая позволит ML- и продуктовой командам находить точки роста и извлекать инсайты из данных. Вы будете работать в тесной связке с юристами-экспертами и напрямую влиять на улучшение качества модели.

Разработка инструментов для разметки данных

Наши продукты требуют значительного объёма текстовых данных для обучения и валидации. Вам предстоит выстроить полный цикл разметки и подготовки обучающих и валидационных датасетов, организовать процессы контроля качества и обеспечить надёжность и согласованность разметки.

Сравнительный анализ качества внутренних конфигураций продукта и внешних моделей

Ваша задача — создать инструменты для статистически корректного сравнения и бенчмаркинга решений на основе экспертной разметки и автоматических методов оценки качества, чтобы команда могла принимать обоснованные решения о развитии продукта.

Требования

• Уверенно владеете SQL и Python
• Знаете математическую статистику и теорию вероятностей
• Обладаете структурным мышлением и умеете формулировать выводы на основе данных
• Понимаете основы A/B-тестирования и оценки изменений в продукте
• Знаете основы ML

Дополнительные требования

• Работали с LLM или агентами