Мы хотим восстановить зависимость при помощи некоторой модели, которая у нас будет нейронной сетью. Как нам построить нейронную сеть? Во-первых, нужно определиться с архитектурой этой нейронной сети. То есть, из каких кусочков она будет состоять, как эти кусочки будут друг с другом связаны. Как эти нейроны внутри будут устроены. Какая у них будет функция активации -- ну, и так далее. Кроме того, нужно определиться с функцией потерь. Что такое функция потерь? На данном этапе удобно рассматривать нейронную сеть как чёрный ящичек у которого есть ручки. Ручки -- это веса (нейронов) и смещения. Мы хотим найти положение ручек, при котором чёрная коробочка, которая непонятно как внутри устроена, решает нашу задачу наилучшим образом. Для того чтобы решить эту задачу, нам нужно определиться, что такое "наилучшим образом", и этому соответствует как раз функция потерь: её минимум будет соответствовать самому лучшему положению ручек на этом чёрном ящике. Кроме того, нужно определиться с методом оптимизации. Что такое метод оптимизации и зачем он нужен? Допустим, у нас есть эта коробочка и у нас есть какое-то положение этих ручек. Мы померили функцию потерь. И мы знаем, для каждой ручки, в какую сторону нужно повернуть эту ручку, чтобы улучшить результат, чтобы уменьшить функцию потерь. Соответственно, метод оптимизации -- это, как раз, "на сколько и как нужно крутить" эти ручки для того, чтобы улучшить наш результат. Кроме того, можно ещё ввести метрики. Эти метрики не будут непосредственно влиять на процесс обучения, но они чрезвычайно полезны. В частности, они полезны для того, чтобы настраивать процесс обучения. Что такое метрики? Метрики -- они будут просто показывать, насколько хорошо мы сейчас решаем нашу задачу. Например, точность -- это "сколько процентов из результата мы угадали". Вот это хороший пример метрики. Чуть позже мы рассмотрим, чем метрики могут отличаться от функций потерь и какие условия накладываются на функцию потерь.