Чем отличается работа BatchNorm во время тренировки и во время валидации?

  • Во время тренировки батч-нормализация оценивает статистики по одному батчу, а во время валидации используются усредненные статистики по всей истории обучения
  • Во время тренировки батч-нормализация оценивает статистики по одному батчу, а во время валидации ничего не делает
  • Ничем не отличается
Для просмотра статистики ответов нужно залогиниться.