Имеется сигмоидная нейронная сеть. Задана обучающая выборка из одного прецедента: V={([2;3],1)}V={([2;3],1)}V=\{([2;3],1)\}. Заданы начальные веса и смещение:w1=w1=w_1 = 0,2;w2=w2=w_2 = 3;b=b=b = -9.Используя в качестве стоимостной функции функцию перекрестной энтропии и регуляризацию L2 выполнить одну эпоху обучения. Скорость обучения положить равной 0,4; регуляризационный параметр положить равным 0,1. В качестве ответа ввести новое значение aa a с точностью 3 знака после запятой.Указание. Для нахождения ∂C∂w1∂C∂w1\frac{\partial C}{\partial w_1}, ∂C∂w2∂C∂w2\frac{\partial C}{\partial w_2} и ∂C∂b∂C∂b\frac{\partial C}{\partial b} использовать следующие формулы метода обратного распространения ошибки:BP1'' δLi=ai−yiδiL=ai−yi \delta _i^L = a_i - y_i ;BP3 ∂C∂bli=δli∂C∂bil=δil\frac{{\partial C}}{{\partial b_{i}^l}} = \delta _i^l ;BP4 ∂C∂wlij=δli⋅al−1j∂C∂wijl=δil⋅ajl−1\frac{{\partial C}}{{\partial w_{ij}^l}} = \delta _i^l \cdot a_j^{l - 1}.Для минимизации стоимостной функции использовать градиентный спуск с регуляризацией L2:wq:=(1−ηλ)wq−η∂C∂wqwq:=(1−ηλ)⁡wq−η∂C∂wqw_q: = (1 - \eta \lambda\operatorname)w_q - \eta \frac{\partial C}{\partial {w_q}};b:=b−η∂C∂bb:=b−η∂C∂bb: = b - \eta \frac{{\partial C}}{{\partial b}}.Справочно: сигмоидная функция: σ(z)=11+e−zσ(z)=11+e−z\sigma (z) = \frac{1}{1 + {e^{-z}}}.

  • Ответ: Вопрос 1
Для просмотра статистики ответов нужно залогиниться.