Специалист по машинному обучению создает модель на основе XGBoost для разбиения кредитных заявок на 2 класса - типовые и подозрительные. Размер размеченных данных составляет 1000 заявок, из которых 400 являются подозрительными. Специалист обучил модель на обучающей выборке (70% от данных), а затем проверил метрики качества (ROC AUC) на тестовой выборке (30% от данных), которые оказались приемлемыми. Затем он начал оптимизировать гиперпараметры и подбирать набор предикторов модели, стремясь максимизировать качество модели, рассчитанное после 10-блочной кросс-валидации на этих двух выборках. К его удивлению, после развертывания модели в продакшн-окружении на реальных данных, модель показала себя значительно менее эффективно, хотя данные выглядели эффективно. Какая из нижеперечисленных интерпретаций полученного результата является наиболее правдоподобной?Это задача повышенной сложности. Для выполнения этой задачи воспользуйтесь дополнительной литературой: Энрю Ын «Страсть к машинному обучению», глава 1, раздел 5, (https://habr.com/ru/post/419757/)

  • Кросс-валидацию нельзя применять на несбалансированной выборке такого размера
  • При оптимизации произошла “утечка данных” из тестовой выборки, необходимо было дополнительно выделять валидационную выборку и проверять метрики на ней.
  • Соотношение между тестовой и обучающей выборками было выбрано неверно, в данном случае необходимо разбивать выборки 50/50
  • Число блоков в кросс-валидации нужно было увеличить до 100, т.к. выборка слишком мала
Для просмотра статистики ответов нужно войти.