Z-score

Что означает

Для совокупности формула z = (x − μ) / σ, где x — наблюдение, μ — среднее, σ — стандартное отклонение. При стандартизации выборки используют её среднее и выборочное стандартное отклонение. Если отклонение равно нулю, делить на него нельзя: все наблюдения одинаковы.

Пример применения

Учебные данные: среднее время обработки заявки — 20 минут, стандартное отклонение — 5 минут. Для заявки на 35 минут z = (35 − 20) / 5 = 3. Для заявки на 15 минут z = −1. Первая на три отклонения выше среднего, вторая на одно ниже.

Как рассчитать и проверить результат

• Выберите сопоставимые наблюдения: один процесс, одинаковые единицы и понятный период. Не смешивайте новые и старые правила обработки.
• Рассчитайте среднее и стандартное отклонение по выбранной группе.
• Вычтите среднее из интересующего значения и разделите разность на стандартное отклонение.
• Проверьте знак: значение выше среднего должно дать положительный z-score.
• Изучите необычные значения в исходных данных, прежде чем делать вывод о причине отклонения.

Как читать z-score

• z = 0: значение находится на среднем уровне группы.
• z = 1,5: значение на полтора стандартных отклонения выше среднего.
• z = −2: значение на два стандартных отклонения ниже среднего. Минус не означает ошибку расчёта.
• |z| около 3 и выше: повод проверить наблюдение и распределение, а не команда автоматически удалить строку.

Когда правило трёх сигм вводит в заблуждение

• При нормальном распределении около 99,7% значений находятся между −3 и +3 стандартными отклонениями. Для произвольного распределения этот процент не действует.
• Денежные суммы и длительности часто имеют длинный правый хвост. Большое значение может быть нормальной особенностью процесса.
• Выбросы сами сдвигают среднее и стандартное отклонение; в маленьких выборках обычный z-score особенно ненадёжен для поиска аномалий.
• Начните с графика распределения и проверки качества данных. При необходимости рассмотрите медиану, MAD или межквартильный размах, согласовав метод с задачей.

Проверьте себя на рабочей ситуации

Среднее время ответа — 200 мс, стандартное отклонение — 40 мс. Какой z-score у ответа 120 мс? Нужно ли удалить его из отчёта?

Закрепите на практике

Откройте чеклист аналитика данных

Источник: NIST: z-score и ограничения поиска выбросов. Примеры и задания подготовлены редакцией Ariol.

Синонимы и варианты

Связанные термины

Где встречается

При стандартизации числовых признаков и первичном исследовании необычных наблюдений внутри сопоставимой группы. Перед интерпретацией проверяют распределение и качество исходных измерений.

Ошибки понимания

Z-score не является вероятностью или p-value. Большой модуль не доказывает ошибку данных, а стандартизация не превращает произвольное распределение в нормальное.