Видео проигрыватель загружается.Воспроизвести видеоВоспроизвестиБез звукаТекущее время 0:00/Продолжительность 1:06Загрузка: 0.00%0:00Тип потока ОНЛАЙНSeek to live, currently behind liveОНЛАЙНОставшееся время -1:06 1xСкорость воспроизведения2x1.75x1.5x1.25x1x, выбрано0.75x0.5xГлавыГлавыОписанияОтключить описания, выбраноСубтитрынастройки субтитров, откроется диалог настройки субтитровСубтитры выкл., выбраноЗвуковая дорожкаPicture-in-PictureПолноэкранный режимThis is a modal window.Начало диалоговго окна. Кнопка Escape закроет или отменит окноТекстColorБелыйЧерныйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйФонColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйПрозрачныйОкноColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачныйПолупрозрачныйПрозрачностьРазмер шрифта50%75%100%125%150%175%200%300%400%Стиль края текстаНичегоПоднятыйПониженныйОдинаковыйТеньШрифтПропорциональный без засечекМоноширинный без засечекПропорциональный с засечкамиМоноширинный с засечкамиСлучайныйПисьменныйМалые прописныеСбросить сбросить все найстройки по умолчаниюГотовоЗакрыть модальное окноКонец диалогового окна.
Мы поговорили про механизм внутреннего внимания или self attention. Это краеугольный камень, вокруг которого сейчас строится много хороших решений сложных задач. Он так хорош, например, потому, что позволяет учитывать глобальные зависимости (очень далёкие), связывать слова, расположенные очень далеко друг от друга. А также процесс его обучения очень хорошо распараллеливается. В нём также можно динамически управлять зависимостями между элементами входных данных за счёт масок в механизме внимания. Ещё мы вкратце поговорили про архитектуру "трансформер", построенную практически целиком из механизма внимания.[1] И надо помнить, что мы говорили о самых базовых ключевых принципах, кроме них есть ещё очень много интересных и важных нюансов, которые лучше изучать, читая исходные коды работающих моделей.
[1] The Illustrated Transformer (http://jalammar.github.io/illustrated-transformer/)