Собеседование Data Scientist:
вопросы и ответы.

Bias — систематическая ошибка из-за слишком простой модели или признаков, variance — чувствительность к конкретной выборке. Диагностируйте train/validation-кривые, а не предлагайте «сложнее модель» по умолчанию.

Разбиение отражает будущий сценарий применения: для времени — прошлое в train, будущее в test; для связанных объектов — group split. Выберите метрику, изолируйте финальный test и не подбирайте решение на нём многократно.

Leakage — признак или трансформация содержит информацию, недоступную в момент предсказания. Проверьте момент доступности, split до fit препроцессинга, агрегаты по времени и признаки, зависящие от target.

Accuracy часто бесполезна. Свяжите precision, recall, PR-AUC, ROC-AUC или cost matrix с ценой FP/FN, порогом решения и мощностью ручной обработки.

Сначала поймите механизм и смысл: пропуск может быть сигналом или ошибкой процесса. Все правила fit-ятся только на train, а выбросы проверяются вместе с владельцем данных, не удаляются автоматически.

Baseline может быть бизнес-правилом, простым статистическим прогнозом или линейной моделью. Он фиксирует полезность сложного решения и помогает обнаружить ошибку в пайплайне раньше оптимизации.

Offline измеряет качество на исторических данных, online — изменение реального поведения и системы. Расхождение возникает из-за дрейфа, feedback loop, задержек, UX и неверной прокси-метрики.

Переведите метрику в цену ошибки и сценарий, покажите ограничение применимости и понятные факторы. Интерпретируемость не означает причинность; не обещайте точность за пределами проверенной выборки.

Соблюдайте хронологию, задайте point-in-time срез для признаков и проверьте задержку появления данных. Случайный split может создать утечку будущего в прошлое.

Покажите критерии решения: качество против baseline, стоимость ошибок, доступность признаков, latency, поддержка или отсутствие продукта. Умение остановить невыгодное решение — сильный сигнал зрелости.