Руководитель backend-разработки ядра рекомендательной системы

Наша команда разрабатывает бэкенд рекомендательной системы для ключевых сервисов VK. Мы создаём технологии, которые помогают миллионам пользователей находить актуальный и интересный контент.

Рекомендательная система обрабатывает сотни тысяч запросов в секунду, персонализируя ленты в реальном времени с использованием моделей машинного обучения. Мы уже успешно внедрили наши рекомендательные технологии в такие сервисы, как Дзен, VK Видео, VK Клипы, VK Музыка и лента ВКонтакте.

Наша цель — построить унифицированную платформу рекомендательных систем, которая обеспечит высокую эффективность и удобство для специалистов по машинному обучению. Система должна легко решать их задачи через конфигурации и пользовательский интерфейс, позволяя максимально сосредоточиться на качестве рекомендаций, а не на технических ограничениях инфраструктуры.

Мы создаём решения, которые:

• Обрабатывают огромные потоки данных в реальном времени и обеспечивают надёжную персонализацию для десятков миллионов пользователей.
• Масштабируются без потери производительности и качества рекомендаций.
• Поддерживают гибкую настройку алгоритмов и параметров ранжирования без необходимости глубокой работы с кодом.
• Гарантируют предсказуемость работы даже под экстремальными нагрузками.

Перед нами стоит задача разработки архитектуры и ключевых компонентов платформы, включая хранилище данных, систему обработки информации, рантайм кластера для ранжирования, оркестратор и другие модули.

Стек: Java 21, YTSaurus, Cassandra, Kafka, Gradle 8, GitLab & TeamCity, CatBoost, Off-Heap Memory, SpringBoot, TestContainers.

Задачи

• Проектирование и разработка распределённой, отказоустойчивой и масштабируемой инфраструктуры для обработки и выдачи рекомендаций.
• Разработка платформенных решений, которые позволяют ML-специалистам легко управлять моделями и экспериментами через конфигурации и UI.
• Оптимизация производительности системы под высокие нагрузки.
• Создание инструментов для мониторинга, отладки и улучшения качества рекомендаций.
• Взаимодействие с командами по машинному обучению, инфраструктуре и продуктовой разработке для интеграции решений.

Требования

• Опыт управления командой разработки, участие в стратегическом планировании технического развития.
• Глубокие знания в области архитектуры бэкенд-систем, распределённых вычислений, работы с базами данных.
• Опыт работы с высоконагруженными сервисами и проектирования отказоустойчивых решений.
• Владение Java.
• Опыт создания платформенных решений, в том числе API, UI и систем конфигурирования.
• Опыт оптимизации вычислений и хранения данных.

Будет плюсом

• Понимание принципов работы рекомендательных систем и машинного обучения.
• Опыт с ML.