Мы только что рассмотрели софтмакс функцию активации (хотя это не совсем функция активации...):
SMi(y⃗ )=eyi∑Nj=1eyjSMi(y→)=eyi∑j=1Neyj SM_i (\vec y) = \frac{ e^{y_i} }{ \sum_{j=1}^{N} {e^{y_j}} }
А зачем в этой формуле, в знаменателе, сумма экспонент по всем выходам, если мы ищем вероятность чего-либо?..