Подготовка данных · База
Как проверить качество данных
Найти пропуски, дубликаты, выбросы, задержки и нарушения допустимых значений до анализа.
Кратко: за 2 минуты
Найти пропуски, дубликаты, выбросы, задержки и нарушения допустимых значений до анализа. Результат работы — Data Quality Profile.
Когда применять
Урок относится к этапу «Подготовка данных». Получить воспроизводимый набор данных, понять его происхождение и проверить ограничения до расчетов. Задачу выполняют до реализации или согласования зависимого решения, чтобы команда опиралась на проверенные факты и однозначные договоренности.
Что это дает
Правильно выполненная работа снижает стоимость переделок, делает решение проверяемым и дает участникам единый источник информации. Практический результат фиксируется в артефакте «Data Quality Profile».
Пошагово: как выполнить
- Посчитайте completeness и uniqueness
- Проверьте диапазоны, категории и referential integrity
- Сравните объем и свежесть с baseline
Критерии приемки
- Критичные поля покрыты проверками
- Аномалии классифицированы
- Решение по проблемным строкам зафиксировано
Типичные ошибки
- Удалять выбросы без объяснения
- Проверять только отсутствие null
Инструменты
Пример
Плохой пример
Удалять выбросы без объяснения
Хороший пример
Учебный пример. Проверены пропуски, дубли ключа и значения суммы вне ожидаемого диапазона. Найденные отмены с отрицательной суммой сверены с бизнес-правилом; необычное значение не удаляется без объяснения.
Шаблон
Отчет качества данных
Скачать рабочий лист этого урока
Выбрать рабочий шаблонРабочий артефакт
Рабочий артефакт
Отчет качества данных
Учебный пример. Проверены пропуски, дубли ключа и значения суммы вне ожидаемого диапазона. Найденные отмены с отрицательной суммой сверены с бизнес-правилом; необычное значение не удаляется без объяснения.
- Полнота
- Свежесть
- Уникальность
- Ошибки
Контроль качества
Data Quality Report
Критичные поля покрыты проверками
После релизов, изменения требований, обновления целей и появления новых рисков.
Контекст, проблему, доказательство, владельца, срок и критерий приемки.
Перед отметкой выполнено: Критичные поля покрыты проверками
Как применять
Начинайте с влияния на пользователя, продукт и команду. Затем проверьте реализуемость, критерии качества и формат доказательства результата. Хороший пункт чеклиста объясняет, какую проблему закрываем, как выполняем работу и по каким признакам считаем ее завершенной.
Короткие ответы
Частые вопросы
Зачем выполнять пункт «Как проверить качество данных»?
Правильно выполненная работа снижает стоимость переделок, делает решение проверяемым и дает участникам единый источник информации. Практический результат фиксируется в артефакте «Data Quality Profile».
С чего начать выполнение?
Посчитайте completeness и uniqueness
Как понять, что пункт выполнен?
Критичные поля покрыты проверками
Какая ошибка чаще всего мешает результату?
Удалять выбросы без объяснения
Режим обучения
Тест по теме
Проверка понимания
Ответьте на вопросы по материалу и получите итоговый отчет: что понято хорошо, а что стоит перечитать.
Редакция Ariol · Версия 2 · Обновлено
Независимая экспертная проверка не заявлена.
Что обновлено
- — Обновлено: Название, Шаблон результата, Пример, Плохой пример, Заголовок поиска, Описание поиска, Поисковые фразы.
Материал предназначен для обучения. Адаптируйте рекомендации к внутренним регламентам компании и условиям проекта.
Предложить исправление через контакты Ariol