Подумайте об условиях движения градиентного спуска yt+1=yt−α⋅∇fyt+1=yt−α⋅∇fy^{t+1} = y^t - \alpha \cdot \nabla f. В каких случаях yt+1=ytyt+1=yty^{t + 1} = y^{t}?
Считайте, что 0≤αt+1<αt0≤αt+1<αt0 \leq \alpha_{t + 1} < \alpha_{t}.
- Если в следующей точке функция потерь имеет нулевую производную
- Если в точке где мы находимся функция потерь имеет нулевую производную
- Если размер предыдущего шага равнялся 0
- Если скорость обучения была/стала нулевой
- Если скорость обучения равна -1
К сожалению, у нас пока нет статистики ответов на данный вопрос,
но мы работаем над этим.