>>1.00<<>>1.00<<Видео проигрыватель загружается.Воспроизвести видеоВоспроизвестиБез звукаТекущее время 0:00/Продолжительность 2:08Загрузка: 0.00%0:00Тип потока ОНЛАЙНSeek to live, currently behind liveОНЛАЙНОставшееся время -2:08 1xСкорость воспроизведения2x1.75x1.5x1.25x1x, выбрано0.75x0.5xГлавыГлавыОписанияОтключить описания, выбраноСубтитрынастройки субтитров, откроется диалог настройки субтитровСубтитры выкл., выбраноЗвуковая дорожкаPicture-in-PictureПолноэкранный режимThis is a modal window.Начало диалоговго окна. Кнопка Escape закроет или отменит окноТекстColorБелыйЧерныйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйФонColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйПрозрачныйОкноColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачныйПолупрозрачныйПрозрачностьРазмер шрифта50%75%100%125%150%175%200%300%400%Стиль края текстаНичегоПоднятыйПониженныйОдинаковыйТеньШрифтПропорциональный без засечекМоноширинный без засечекПропорциональный с засечкамиМоноширинный с засечкамиСлучайныйПисьменныйМалые прописныеСбросить сбросить все найстройки по умолчаниюГотовоЗакрыть модальное окноКонец диалогового окна.
Всем привет! Это видео про рабочую лошадку нейросетевых моделей для обработки последовательностей — данных вообще и текста в частности: рекуррентные нейросети. Практически во всех областях обработки текстов были попытки применить рекуррентки и во многих это получилось сделать успешно. Основная идея рекурренток заключается в том, что у нас есть некоторое внутреннее состояние, которое мы обновляем после прочтения очередного элемента входной последовательности. По идее, это внутреннее состояние должно содержать в себе информацию обо всём прочитанном ранее тексте. В свёртках же — наоборот, мы состояние не хранили, а обрабатывали кусок текста определённого размера — сразу. Рекуррентные нейросети могут использоваться как для предсказания одной величины по тексту (например, для классификации), так и для предсказания каких-либо величин для каждого элемента входной последовательности. Итак, мы читаем входной текст слово за словом или символ за символом и, сначала, обрабатываем его (например, мы можем применить к нему линейное преобразование). Затем мы вычисляем новое значение состояния. В простейшем случае оно зависит от значения состояния на предыдущем шаге и от текущего входа. Далее мы делаем предсказание, используя только текущее значение состояния, а потом читаем следующее слово и повторяем всю процедуру заново. Такие нейросети потенциально гораздо мощнее, чем свёрточные. Однако скрытое состояние зависит от предыдущего, а мы обрабатываем элемент за элементом последовательно, поэтому рекуррентки не так хорошо используют возможности параллельных вычислений в графических ускорителях и, в итоге, медленнее свёрточных нейросетей.