>>1.00<<>>1.00<<Видео проигрыватель загружается.Воспроизвести видеоВоспроизвестиБез звукаТекущее время 0:00/Продолжительность 1:32Загрузка: 0.00%0:00Тип потока ОНЛАЙНSeek to live, currently behind liveОНЛАЙНОставшееся время -1:32 1xСкорость воспроизведения2x1.75x1.5x1.25x1x, выбрано0.75x0.5xГлавыГлавыОписанияОтключить описания, выбраноСубтитрынастройки субтитров, откроется диалог настройки субтитровСубтитры выкл., выбраноЗвуковая дорожкаPicture-in-PictureПолноэкранный режимThis is a modal window.Начало диалоговго окна. Кнопка Escape закроет или отменит окноТекстColorБелыйЧерныйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйФонColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйПрозрачныйОкноColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачныйПолупрозрачныйПрозрачностьРазмер шрифта50%75%100%125%150%175%200%300%400%Стиль края текстаНичегоПоднятыйПониженныйОдинаковыйТеньШрифтПропорциональный без засечекМоноширинный без засечекПропорциональный с засечкамиМоноширинный с засечкамиСлучайныйПисьменныйМалые прописныеСбросить сбросить все найстройки по умолчаниюГотовоЗакрыть модальное окноКонец диалогового окна.
В общем случае, механизм внимания состоит из следующих основных компонентов. Во-первых, на вход может подаваться не только матрица слов, то есть данные, но и отдельный вектор-запрос, на основе которого будут рассчитываться релевантности слов. Термин "релевантность" мы будем использовать для обозначения оценки значимости слова, то есть релевантность — это какое-то число, чем она выше, тем более слово значимо. Второй компонент — это механизм расчёта релевантности. Как правило, это простое скалярное произведение или нейросеть. Третий компонент — это механизм вычисления значений, то есть векторов, которые, в дальнейшем, будут складываться с весами, полученными в результате расчёта релевантности. Четвёртый компонент — механизм получения единого вектора, то есть агрегация. Как правило, оценки релевантности сначала нормируются с помощью софтмакса, а затем входные вектора домножаются на эти оценки и поэлементно складываются. В результате мы получаем гораздо большую гибкость, чем при обычной агрегации. В частности, это проявляется в том, что значения выходного вектора более не являются независимыми. Теперь одни элементы входных векторов могут работать на привлечение внимания, а другие на передачу полезной информации.