0
Есть ещё одна регуляризация, которая характерна только для нейронных сетей -- она называется "dropout". Что такое dropout? Рассмотрим некоторую нейронную сеть, в которой есть два слоя -- первый и второй. Пусть это будет полносвязанная нейронная сеть, то есть каждый нейрон первого слоя соединён с каждым нейроном второго слоя. Теперь рассмотрим такую ситуацию, что между нейроном первого слоя и нейроном второго слоя с некоторой вероятностью "P" теряется связь, то есть вместо нужного сигнала в нейрон из второго слоя приходит нулевой сигнал. Наверное, такое происходит в реальной жизни в нейронных сетях, когда теряется сигнал (он улетучивается куда-то). Однако мы хотим, чтобы наша нейронная сеть была устойчива к таким пропаданиям сигнала. Итак, мы вводим некоторый параметр "P": с этой вероятностью у нас исчезает сигнал, исчезает связь между нейронами первого и второго слоя. Это вариант дропаута, который называется "drop connection". Есть ещё один вариант дропаута, когда иногда барахлят уже сами нейроны, то есть у нас связи остаются в силе, однако некоторые нейроны почему-то выдают нулевой результат. Вот такой вариант называется "drop neuron". Dropout -- это очень мощная техника регуляризации, однако нужно тщательно выбирать параметр "P". Параметр "P" можно выбирать так же, как регуляризационный параметр "лямбда", однако очень часто его просто задают равным какому то значению и всё, и он работает. Дропаут значительно улучшает стабильность работы сети. Стоит отметить, что техника чем-то напоминает аугментацию, а именно аугментацию шумом "соль и перец" (точнее только "соль"), то есть когда у нас некоторые пиксели зануляются. Дропаут очень похож на эту технику аугментации.