В нулевой момент времени EMA (Exponential Moving Average) равно 0. Это значит, что первый шаг градиентного спуска с EMA совпадает с шагом обычного градиентного спуска без EMA с точностью до значения learning rate.
Пусть в алгоритме градиентного спуска с EMA скорость обучения α=0.1α=0.1\alpha = 0.1 , а параметр EMA β=0.9β=0.9\beta = 0.9.
Чему тогда равен learning rate для первого шага обычного градиентного спуска, который делает такой же первый шаг?