В каком случае градиент в сети ResNet всё-таки будет нулевым)?
- если на текущем батче градиент отрицательный
- если на текущем батче градиент равен нулю
- если сеть нашла минимум лосс-функции
- если соединено более 1000 слоёв
К сожалению, у нас пока нет статистики ответов на данный вопрос,
но мы работаем над этим.