MiraВопрос на собеседовании · ML Engineer
Как мониторить model drift?
Короткий ответ, ключевые тезисы и ошибки, которых стоит избежать на интервью.
Data drift — изменение распределения входных признаков, prediction drift — изменение выходов модели, а падение реального качества подтверждается только когда приходит достоверный label. Эти сигналы не равнозначны: сезонное изменение признака может быть нормальным, а стабильное распределение не гарантирует, что связь признаков с target не изменилась.
Мониторинг задаёт baseline, сегменты, окно, порог и владельца реакции. Помимо статистических расстояний полезны полнота и свежесть признаков, latency, ошибки и бизнес-метрики; при алерте команда проверяет источник данных, rollout и качество, затем выбирает rollback, retrain или изменение правила.
01 · Структура ответа
Что важно сказать интервьюеру
Раскройте тезисы, которые относятся именно к этому вопросу, и поясните их на собственном примере:
02 · Пример
Как объяснить на практике
После изменения мобильного клиента доля отсутствующих признаков выросла в новом appVersion, а prediction distribution сместился. Алерт ведёт не сразу к retrain: сначала команда проверяет контракт события, отключает новый client rollout и сравнивает качество по сегментам.
Не заучивайте формулировку дословно. Свяжите принцип с задачей из собственного проекта — интервьюер почти наверняка попросит уточнить детали реализации и компромиссы.
03 · Ошибки
Чего избегать в ответе
04 · Углубление
Что могут спросить следом
- Что такое concept drift?
- Как выбрать порог?
- Как мониторить fairness?
05 · Проверка фактов
Первоисточники по теме
Ссылки ниже помогают проверить понятия, методы и ограничения по теме. Они не являются доказательством того, что этот вопрос задают на каждом собеседовании.
- Google Cloud: Model Monitoring — Мониторинг качества входных данных и сдвига распределения.
Практика ответа
Ответьте вслух, а не про себя
Откроем тренировку сразу на этом вопросе. Выберите грейд, сформулируйте ответ и сравните его с подсказкой.