Собеседование ML Engineer:
вопросы и ответы.

Определите online или batch-сценарий, контракт признаков и ответа, SLO latency, масштабирование, fallback и версию модели. Serving — это не только HTTP-обёртка вокруг pickle-файла.

Разделите data drift, prediction drift и фактическое падение качества при появлении label. Нужны baseline, сегменты, пороги, задержка обратной связи и процесс реакции, а не один график PSI.

Версионируйте код, данные, конфигурацию и артефакты, фиксируйте окружение и lineage. Шаги должны быть идемпотентными и воспроизводимыми по run ID, а не зависеть от текущего состояния ноутбука.

Одна логика трансформаций, контракт схемы, point-in-time правила и проверка feature distribution снижают training-serving skew. Обсудите owner и версию признаков.

Выбор зависит от необходимой свежести, стоимости, SLA и поведения продукта. Batch проще и дешевле для ежедневного ранжирования, online нужен для контекста запроса, но добавляет отказов и latency.

Сначала offline-проверки и shadow/canary, затем ограниченное воздействие с метриками и быстрым rollback. Новая модель должна быть адресуемой версией, а не заменой файла на месте.

Отделите доступность и latency сервиса от качества модели. Согласуйте p95, error rate, свежесть данных, полноту ответа и fallback, а бизнес-метрику оценивайте в подходящем окне.

Профилируйте реальную нагрузку, выбирайте batch, кеш, квантование, размер модели и масштабирование по очереди. Экономия не должна нарушать качество, fairness или SLO.

Предусмотрите timeout, версию fallback-признаков или бизнес-правило, не блокируйте весь пользовательский сценарий. Зафиксируйте, когда допустим деградированный ответ и как это наблюдать.

Опишите симптом, способ обнаружения, ограничение воздействия, root cause, исправление pipeline и профилактику. Отделите проблему модели от проблемы данных, serving или продукта.