>>1.00<<>>1.00<<Видео проигрыватель загружается.Воспроизвести видеоВоспроизвестиБез звукаТекущее время 0:00/Продолжительность 2:38Загрузка: 0.00%0:00Тип потока ОНЛАЙНSeek to live, currently behind liveОНЛАЙНОставшееся время -2:38 1xСкорость воспроизведения2x1.75x1.5x1.25x1x, выбрано0.75x0.5xГлавыГлавыОписанияОтключить описания, выбраноСубтитрынастройки субтитров, откроется диалог настройки субтитровСубтитры выкл., выбраноЗвуковая дорожкаPicture-in-PictureПолноэкранный режимThis is a modal window.Начало диалоговго окна. Кнопка Escape закроет или отменит окноТекстColorБелыйЧерныйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйФонColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйПрозрачныйОкноColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачныйПолупрозрачныйПрозрачностьРазмер шрифта50%75%100%125%150%175%200%300%400%Стиль края текстаНичегоПоднятыйПониженныйОдинаковыйТеньШрифтПропорциональный без засечекМоноширинный без засечекПропорциональный с засечкамиМоноширинный с засечкамиСлучайныйПисьменныйМалые прописныеСбросить сбросить все найстройки по умолчаниюГотовоЗакрыть модальное окноКонец диалогового окна.
Умные люди придумали агрегацию получше — механизм внимания. Давайте представим, что входные векторы — это люди, которые что-то обсуждают вместе. Вы — один из участников такого обсуждения и вы хотите высказаться. Естественно, вы хотите чтобы вас услышали, но если все вокруг вас бурно дискутируют, бессмысленно в таком шуме что-то пытаться говорить. Сначала нужно привлечь к себе внимание, и убедиться, что вас слушают, и только тогда вы уже будете смело говорить то что хотите сказать. Таким образом, гораздо более эффективно разделить операции оценки значимости информации (то есть, привлечение внимания), и использования этой информации (то есть, передачи дальше по нейросети). Примерно такая идея заложена в основу механизма внимания. Давайте теперь рассмотрим его работу более формально. Итак, на вход механизма внимания поступает матрица размерности "длина текста" на "размер эмбеддинга". Сначала к вектору каждого слова мы, независимо, применяем некоторую нейросеть, у которой один выход — оценка значимости соответствующего элемента текста (слова, например). Про эту оценку мы знаем только то, что это вещественное число, ничем не ограниченное, и оно для более значимых слов — больше, а для менее значимых слов — меньше. Часто релевантность рассчитывается с помощью однослойной нейросети, но ничего не мешает использовать и более сложное преобразование. Релевантность для всех элементов текста рассчитывается с помощью одной и той же нейросети, её веса не зависят от каждого конкретного слова (это важно). Далее мы нормируем оценки релевантности так, чтобы их сумма равнялась единице. Самый удобный способ сделать это — применить софтмакс. Далее мы домножаем оценки релевантности на соответствующие значения входных векторов и получаем результирующий вектор. Размерность результирующего вектора будет такая же, как и размерность эмбеддингов слов на входе. Можно записать эту операцию через матричное произведение вектора на матрицу.