Развёрнутый вопрос
Такие задачи иногда будут появляться, чтобы помочь Вам глубже понять материал.
Качество классификации может быть измерено с помощью нескольких метрик. Одни из самых популярных - точность, полнота и F1-мера (ф-мера). В основе этих метрик лежат частоты ошибок первого и второго рода (ложноотрицательных и ложноположительных срабатываний)
Истинная метка - 0
Истинная метка - 1
Предсказание - 0
Истинно отрицательное предсказание
True Negative, TN
Ложно-отрицательное предсказание
False Negative, FN
Предсказание - 1
Ложно-положительное предсказание
False Positive, FP
Истинно положительное предсказание
True Positive, TP
Сокращения TN, FN, FP, TP можно использовать для обозначения количества истинно-отрицательных, ложно-отрицательных, ложно-положительных и истинно-положительных предсказаний оцениваемого классификатора на валидационной выборке.
Используя эти обозначения, можно определить точность, полноту и F1-меру следующим образом:
Precision=TPTP+FP+ϵPrecision=TPTP+FP+ϵPrecision = \frac {TP} {TP + FP + \epsilon}, Recall=TPTP+FN+ϵRecall=TPTP+FN+ϵRecall = \frac {TP} {TP + FN + \epsilon}, F1=2PrecisionRecallPrecision+Recall+ϵF1=2PrecisionRecallPrecision+Recall+ϵF_1 = \frac{2 Precision Recall} {Precision + Recall + \epsilon},
где ϵϵ\epsilon - малое по модулю положительное число (чтобы не было деления на 0).
Кроме того, иногда используют долю верных угадываний: Accuracy=TP+TNTN+FN+FP+TPAccuracy=TP+TNTN+FN+FP+TPAccuracy = \frac {TP + TN} {TN + FN + FP + TP}
Проанализируйте эти формулы и отметьте в списке ниже истинные утверждения (одно или несколько), касающиеся этих метрик.
При оценке истинности утверждений предполагайте, что количество положительных и отрицательных примеров в валидационной выборке одинаковое, если в варианте ответа не указано другое.
Выберите один или несколько вариантов ответа.

  • Accuracy всегда показывает надёжную оценку качества классификатора, даже на выборке со скошенным распределением классов (например, когда количество отрицательных примеров сильно больше количества положительных)
  • F1 достигает наибольшего значения, когда полнота больше точности
  • F1 достигает наибольшего значения, когда точность больше полноты
  • Если классификатор всегда возвращает 0, Accuracy на валидационной выборке равна 0.5 (при этом классы сбалансированы)

К сожалению, у нас пока нет статистики ответов на данный вопрос, но мы работаем над этим.