Подготовка данных · База
Проверить качество данных
Найти пропуски, дубликаты, выбросы, задержки и нарушения допустимых значений до анализа.
Быстро понять за 2 минуты
Найти пропуски, дубликаты, выбросы, задержки и нарушения допустимых значений до анализа. Результат работы — Data Quality Profile.
Контекст
Урок относится к этапу «Подготовка данных». Получить воспроизводимый набор данных, понять его происхождение и проверить ограничения до расчетов. Задачу выполняют до реализации или согласования зависимого решения, чтобы команда опиралась на проверенные факты и однозначные договоренности.
Что это дает
Правильно выполненная работа снижает стоимость переделок, делает решение проверяемым и дает участникам единый источник информации. Практический результат фиксируется в артефакте «Data Quality Profile».
Как выполнить
- Посчитайте completeness и uniqueness
- Проверьте диапазоны, категории и referential integrity
- Сравните объем и свежесть с baseline
Критерии приемки
- Критичные поля покрыты проверками
- Аномалии классифицированы
- Решение по проблемным строкам зафиксировано
Типичные ошибки
- Удалять выбросы без объяснения
- Проверять только отсутствие null
Инструменты
Рабочий артефакт
Рабочий артефакт
Data Quality Profile
На рабочем проекте специалист начинает с шага «Посчитайте completeness и uniqueness», фиксирует выводы в артефакте «Data Quality Profile» и передает его владельцам решения. Пункт закрывается после проверки: «Критичные поля покрыты проверками».
- Полнота
- Свежесть
- Уникальность
- Ошибки
Контроль качества
Data Quality Report
Критичные поля покрыты проверками
После релизов, изменения требований, обновления целей и появления новых рисков.
Контекст, проблему, доказательство, владельца, срок и критерий приемки.
Перед отметкой выполнено: Критичные поля покрыты проверками
Как применять
Начинайте с влияния на пользователя, продукт и команду. Затем проверьте реализуемость, критерии качества и формат доказательства результата. Хороший пункт чеклиста объясняет, какую проблему закрываем, как выполняем работу и по каким признакам считаем ее завершенной.
Режим обучения
Тест по теме
Проверка понимания
Ответьте на вопросы по материалу и получите итоговый отчет: что понято хорошо, а что стоит перечитать.