Видео проигрыватель загружается.Воспроизвести видеоВоспроизвестиБез звукаТекущее время 0:00/Продолжительность 3:07Загрузка: 0.00%0:00Тип потока ОНЛАЙНSeek to live, currently behind liveОНЛАЙНОставшееся время -3:07 1xСкорость воспроизведения2x1.75x1.5x1.25x1x, выбрано0.75x0.5xГлавыГлавыОписанияОтключить описания, выбраноСубтитрынастройки субтитров, откроется диалог настройки субтитровСубтитры выкл., выбраноЗвуковая дорожкаPicture-in-PictureПолноэкранный режимThis is a modal window.Начало диалоговго окна. Кнопка Escape закроет или отменит окноТекстColorБелыйЧерныйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйФонColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйПрозрачныйОкноColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачныйПолупрозрачныйПрозрачностьРазмер шрифта50%75%100%125%150%175%200%300%400%Стиль края текстаНичегоПоднятыйПониженныйОдинаковыйТеньШрифтПропорциональный без засечекМоноширинный без засечекПропорциональный с засечкамиМоноширинный с засечкамиСлучайныйПисьменныйМалые прописныеСбросить сбросить все найстройки по умолчаниюГотовоЗакрыть модальное окноКонец диалогового окна.
В последние годы один из прорывов был связан с новым видом нейросетевых блоков — механизмами внимания. Более того, оказалось, что достаточно лишь одного "внимания" для решения почти всех задач обработки текстов. По сути, механизм внимания осуществляет попарное сравнение элементов двух последовательностей (или элементов одной последовательности с самой собой), и позволяет выбрать только наиболее значимые их элементы, чтобы продолжить работу только с ними, а всё остальное убрать. Можно рассматривать механизм внимания как умный адаптивный пулинг. Сети "с вниманием", как правило, хорошо учатся. Дальше пошла экзотика, которую мы не будем рассматривать в рамках настоящего курса, однако, будет хорошо, если вы будете знать, что такие вещи вообще есть, каковы их области применения, преимущества и недостатки. Первый экзотический вид нейросетей — это архитектуры с памятью или нейронные машины Тьюринга. Это обобщение рекуррентных нейросетей. Если в реккурентках у нас только один вектор в ячейке, то в сетях с памятью у нас много таких векторов, и на каждом шаге мы можем выбрать, какой вектор использовать, откуда прочитать и куда записать. Потенциально такие архитектуры могут решать абсолютно любые задачи, однако процесс их обучения сходится не очень хорошо, а также, фактическая ёмкость памяти может оказаться меньше, чем вы планировали. Следующий вид блока — рекурсивные нейросети. Также обобщение рекуррентных сетей, но, на этот раз, обобщение заключается не в добавлении большего количества памяти, а в том, что они работают не с последовательностями, а с деревьями. Они применяются, например, для того, чтобы сначала выполнить синтаксический анализ, а потом пройтись по построенному дереву и агрегировать информацию из отдельных узлов. Это может быть полезно для анализа языков со свободным порядком слов — например, для русского. Однако в последнее время этот вариант не очень часто применяется. Графовые свёрточные нейросети — обобщение и свёрточных, и рекуррентных нейросетей на произвольную структуру графа. Например, в рекуррентных нейросетях у нас обычная цепочка — слово идёт за словом, и каждое связано только с непосредственными соседями. В картинках у нас решётка (4-связананная) — каждый пиксель связан только с непосредственными соседями, а графовые нейросети могут работать с любыми структурами. Этот вид нейросетей получил распространение относительно недавно и сейчас активно исследуется. Однако большая гибкость всегда приходит вместе с большей вычислительной сложностью.