MiraВопрос на собеседовании · ML Engineer
Как спроектировать model serving?
Короткий ответ, ключевые тезисы и ошибки, которых стоит избежать на интервью.
Serving начинается с продукта: нужен ли ответ в реальном времени, какая допустима задержка, что происходит при ошибке и какие признаки доступны в момент запроса. Для batch-сценария важны расписание, свежесть и доставка результата; для online — контракт, таймауты, масштабирование, кеш и защита от перегрузки.
Модель должна быть адресуемым артефактом с версией, схемой входа и метаданными обучения. Развёртывание проходит через shadow или canary, имеет понятный fallback и rollback; сервисные SLO наблюдают отдельно от ML-качества, которая часто приходит с задержанным label.
01 · Структура ответа
Что важно сказать интервьюеру
Раскройте тезисы, которые относятся именно к этому вопросу, и поясните их на собственном примере:
02 · Пример
Как объяснить на практике
Сервис ранжирования получает userId и контекст, за 80 мс читает версионированные признаки и возвращает top-N. При timeout feature store он использует популярные позиции, пишет метрику fallback и не блокирует выдачу целиком.
Не заучивайте формулировку дословно. Свяжите принцип с задачей из собственного проекта — интервьюер почти наверняка попросит уточнить детали реализации и компромиссы.
03 · Ошибки
Чего избегать в ответе
04 · Углубление
Что могут спросить следом
- Когда нужен feature store?
- Как обеспечить model registry?
- Как тестировать contract serving?
05 · Проверка фактов
Первоисточники по теме
Ссылки ниже помогают проверить понятия, методы и ограничения по теме. Они не являются доказательством того, что этот вопрос задают на каждом собеседовании.
- TensorFlow: Serving Models — Варианты развёртывания и обслуживания ML-моделей.
Практика ответа
Ответьте вслух, а не про себя
Откроем тренировку сразу на этом вопросе. Выберите грейд, сформулируйте ответ и сравните его с подсказкой.