MiraВопрос на собеседовании · Data Engineer
Что означает exactly-once в дата-пайплайне?
Короткий ответ, ключевые тезисы и ошибки, которых стоит избежать на интервью.
Exactly-once обычно описывает наблюдаемую семантику результата: повторная обработка не создаёт повторного эффекта. Сеть и процессы могут повторять сообщения, поэтому гарантию строят на согласовании чтения, состояния и записи.
Практические инструменты — стабильный event ID, идемпотентный upsert, дедупликация в ограниченном окне, checkpoint и транзакции там, где их поддерживают обе стороны. Граница гарантии должна быть названа явно.
01 · Структура ответа
Что важно сказать интервьюеру
Начните с определения, затем объясните механизм и закончите примером из практики. Для полного ответа раскройте эти тезисы:
02 · Пример
Как объяснить на практике
Consumer пишет заказ по business key через merge, а offset подтверждает после успешной транзакции. Повтор сообщения обновит ту же запись и не создаст второй заказ.
Не заучивайте формулировку дословно. Свяжите принцип с задачей из собственного проекта — интервьюер почти наверняка попросит уточнить детали реализации и компромиссы.
03 · Ошибки
Чего избегать в ответе
04 · Углубление
Что могут спросить следом
- Чем at-most-once отличается от at-least-once?
- Как обработать late event?
- Что входит в checkpoint?
Практика ответа
Ответьте вслух, а не про себя
Откроем тренировку сразу на этом вопросе. Выберите грейд, сформулируйте ответ и сравните его с опорой.