MiraВопрос на собеседовании · Data Scientist
Что такое data leakage и как его предотвратить?
Короткий ответ, ключевые тезисы и ошибки, которых стоит избежать на интервью.
Data leakage возникает, когда модель во время обучения видит информацию, которой не будет на момент реального предсказания. Это может быть прямой признак из будущего, target после обработки заявки, агрегат по полной истории или статистика, вычисленная до разбиения; offline-метрика при этом выглядит подозрительно высокой.
Предотвращение начинается с явного определения prediction time и источника каждого признака. Разбиение делают до fit препроцессинга, агрегаты строят point-in-time, а новые признаки проверяют вопросом: «могли ли мы получить это значение именно в тот момент?»
01 · Структура ответа
Что важно сказать интервьюеру
Раскройте тезисы, которые относятся именно к этому вопросу, и поясните их на собственном примере:
02 · Пример
Как объяснить на практике
Модель одобрения кредита использует статус «документы проверены», который появляется после решения оператора. В исторических данных он отлично предсказывает target, но на момент заявки недоступен; признак исключают или заменяют доступным событием.
Не заучивайте формулировку дословно. Свяжите принцип с задачей из собственного проекта — интервьюер почти наверняка попросит уточнить детали реализации и компромиссы.
03 · Ошибки
Чего избегать в ответе
04 · Углубление
Что могут спросить следом
- Чем leakage отличается от concept drift?
- Как проверить feature availability?
- Что такое point-in-time join?
05 · Проверка фактов
Первоисточники по теме
Ссылки ниже помогают проверить понятия, методы и ограничения по теме. Они не являются доказательством того, что этот вопрос задают на каждом собеседовании.
- scikit-learn: Common Pitfalls — Утечка данных при препроцессинге и оценке модели.
Практика ответа
Ответьте вслух, а не про себя
Откроем тренировку сразу на этом вопросе. Выберите грейд, сформулируйте ответ и сравните его с подсказкой.