Собеседование Data Engineer:
вопросы и ответы.

ETL преобразует до загрузки, ELT — после загрузки средствами целевого хранилища. Сравните контроль данных, вычислительную мощность DWH, стоимость хранения, повторяемость преобразований и требования к чувствительным данным.

Идите от типичных фильтров и объёма партиции. Ключ должен давать pruning, не создавать миллионы мелких файлов и не концентрировать запись в одной горячей партиции. Дата удобна не всегда — нужен профиль запросов.

Это наблюдаемый результат без повторного эффекта, а не магическая доставка пакета ровно один раз. Обычно он достигается идемпотентной записью, транзакциями или дедупликацией по стабильному ключу и checkpoint.

Звезда проще и быстрее для аналитических запросов, снежинка сильнее нормализует измерения. Обсудите grain факта, измерения, историю атрибутов и реальные BI-запросы, а не выбирайте схему по названию.

Перераспределение данных между executors требует сети, сериализации и диска. Его вызывают join, groupBy и repartition. Сокращают объём до shuffle, используют broadcast для малой стороны и борются со skew.

Задачи должны быть идемпотентными: писать в детерминированную партицию, использовать merge/upsert или атомарную замену, не опираться на текущее время. Проговорите retries, backfill и очистку частичного результата.

Свежесть, полнота, уникальность, допустимые значения, referential integrity и сверка объёмов. Для каждой проверки определите порог, владельца, реакцию и возможность остановить публикацию плохой витрины.

Type 1 перезаписывает значение без истории, Type 2 добавляет версию со сроком действия. Выбор зависит от того, нужно ли восстанавливать состояние измерения на дату факта.

Начните с допустимой задержки и бизнес-ценности. Streaming повышает сложность состояния, порядка, повторов и эксплуатации; если SLA измеряется часами, batch часто дешевле и надёжнее.

Опишите обнаружение, границы повреждения, остановку публикации, повторную загрузку или backfill, проверку результата и меры профилактики. Важно показать воспроизводимость и контроль качества, а не только быстрый restart.