>>1.00<<>>1.00<<Видео проигрыватель загружается.Воспроизвести видеоВоспроизвестиБез звукаТекущее время 0:00/Продолжительность 1:06Загрузка: 0.00%0:00Тип потока ОНЛАЙНSeek to live, currently behind liveОНЛАЙНОставшееся время -1:06 1xСкорость воспроизведения2x1.75x1.5x1.25x1x, выбрано0.75x0.5xГлавыГлавыОписанияОтключить описания, выбраноСубтитрынастройки субтитров, откроется диалог настройки субтитровСубтитры выкл., выбраноЗвуковая дорожкаPicture-in-PictureПолноэкранный режимThis is a modal window.Начало диалоговго окна. Кнопка Escape закроет или отменит окноТекстColorБелыйЧерныйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйФонColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйПрозрачныйОкноColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачныйПолупрозрачныйПрозрачностьРазмер шрифта50%75%100%125%150%175%200%300%400%Стиль края текстаНичегоПоднятыйПониженныйОдинаковыйТеньШрифтПропорциональный без засечекМоноширинный без засечекПропорциональный с засечкамиМоноширинный с засечкамиСлучайныйПисьменныйМалые прописныеСбросить сбросить все найстройки по умолчаниюГотовоЗакрыть модальное окноКонец диалогового окна.
Теперь мы можем переходить в тренировке нашей нейронной сети. После того, как мы написали один шаг RNN, мы можем вызвать его в цикле и предсказывать символы на каждом шаге нашего цикла. Теперь мы можем начинать тренировку нашей сети. Минимизируя кросс-энтропию, либо максимизируя логарифм правдоподобия нашей модели (что — то же самое) — обучать нашу сеть. Берём матрицу ID токенов, сдвинутую на "i" символов влево, так, чтобы именно "i"-ый символ был следующем символом для предсказания на "i"-ом шаге. Такая матрица хранится в переменной "batch index" (а именно, вот здесь) и, дальше, мы можем переходить к обучению сети. Мы делаем "backward pass" — именно здесь мы вычисляем градиенты нашей лосс-функции по параметрам, делаем шаг с помощью "opt.step" и не забываем сделать "zero_grad", если мы этого не сделаем то градиенты из предыдущих шагов будут накапливаться, аккумулироваться, и это приведёт к неправильному обучению сети. Кроме того, будем визуализировать процесс обучения нашей нейронной сети с помощью библиотеки matplotlib, без каких-либо дополнительных инструментов. Запускаем обучение!