MiraВопрос на собеседовании · Data Scientist
Как валидировать ML-модель?
Короткий ответ, ключевые тезисы и ошибки, которых стоит избежать на интервью.
Валидация должна имитировать будущий момент применения модели. Для независимых однотипных объектов подходит stratified holdout или cross-validation, для временного ряда train всегда предшествует validation и test, а для пользователей или компаний нужен group split, чтобы один объект не оказался с обеих сторон.
Validation используют для выбора признаков, модели и порога, а test откладывают до финальной оценки. Все трансформации — scaler, imputer, target encoding — обучаются только на train внутри каждого fold, иначе оценка становится оптимистичной.
01 · Структура ответа
Что важно сказать интервьюеру
Начните с определения, затем объясните механизм и закончите примером из практики. Для полного ответа раскройте эти тезисы:
02 · Пример
Как объяснить на практике
Для модели риска платежа на 1 июля train берут до апреля, validation — апрель–май, test — июнь. Агрегаты строят только по событиям, доступным на дату каждого платежа, иначе история будущего попадёт в признаки.
Не заучивайте формулировку дословно. Свяжите принцип с задачей из собственного проекта — интервьюер почти наверняка попросит уточнить детали реализации и компромиссы.
03 · Ошибки
Чего избегать в ответе
04 · Углубление
Что могут спросить следом
- Когда нужна cross-validation?
- Как валидировать при малой выборке?
- Что такое nested CV?
Практика ответа
Ответьте вслух, а не про себя
Откроем тренировку сразу на этом вопросе. Выберите грейд, сформулируйте ответ и сравните его с подсказкой.