Имеет ли смысл соединять несколько нейронов, друг за другом, имеющих линейную активационную функцию? Давайте рассмотрим этот вопрос. Допустим, у нас есть три нейрона, у которых линейная функция активации. И у них два входа x1x_1​ и x2x_2​. Каждый из этих входов скармливается и в первый, и во второй нейрон, а результаты работы первого и второго нейронов скармливаются в третий нейрон. Что же будет делать такая сеть? Результат работы этой сети можно представить в виде вот такой вот функции, где у2у_2​ и у1у_1​ -- это результат работы первого и второго нейронов. Поскольку ff -- это линейная функция, это будет равно просто аргументу. y2y_2​ и y1y_1​ -- это результаты работы этих нейронов, первого и второго. Соответственно, их тоже можно раскрыть в виде функций. В результате у нас получится такое выражение, где ff -- это, опять же, линейная операция. Это будет аналогично тому, что мы просто вес домножим на аргумент этой функции (и результатом будет такое выражение). Стоит отметить, что вот это, вот это и вот это -- это числа. Результатом будет всего лишь линейная комбинация из входов в эту нейронную сеть. Таким образом, не имеет смысла скармливать результаты работы линейных нейронов в другой линейный нейрон в том случае, если каждый из первых линейных нейронов получал на вход все аргументы, такие же, как все остальные нейроны в этом же слое.