Один молодой и неопытный специалист по машинному обучению на работе получил следующую задачу: “Разработать программу, которая позволяет анализировать изображения размерами 1024х768 пикселей и определять, присутствует ли на нем кот или нет”. Ему был предоставлен набор из 50-ти изображений с котами. Специалист решил, что данная задача в общем случае представляет собой задачу бинарной классификации, и для ее решения можно применить глубокую сверточную нейронную сеть, которая принимает на вход исходные изображения напрямую, состоит из 16-ти последовательных слоев свертки и дискретизации и обученную на двух классах. На этапе тестирования для оценки точности классификации он решил построить ROC-кривую и оценить для нее количественное значение AUC, и внезапно обнаружил, что ROC AUC = 0.997. Какая из нижеперечисленных интерпретаций полученного результата является наиболее правдоподобной? Это задача повышенной сложности. Для выполнения этой задачи воспользуйтесь дополнительной литературой: С. Николенко «Глубокое обучение. Погружение в мир нейронных сетей», стр. 206-214. (cloud.mail.ru/public/AaZw/UM3d856gy)

  • ROC AUC не является подходящей метрикой для данной задачи.
  • Используемая модель сверточной сети является достаточно сложной и легко справляется с задачей бинарной классификации.
  • Кривая ROC была построена на обучающей выборке.
  • Тестовая выборка не была достаточно сбалансированной, состоящей преимущественно из изображений, принадлежащих одному из классов.
Для просмотра статистики ответов нужно войти.