>>1.00<<>>1.00<<Видео проигрыватель загружается.Воспроизвести видеоВоспроизвестиБез звукаТекущее время 0:00/Продолжительность 2:47Загрузка: 0.00%0:00Тип потока ОНЛАЙНSeek to live, currently behind liveОНЛАЙНОставшееся время -2:47 1xСкорость воспроизведения2x1.75x1.5x1.25x1x, выбрано0.75x0.5xГлавыГлавыОписанияОтключить описания, выбраноСубтитрынастройки субтитров, откроется диалог настройки субтитровСубтитры выкл., выбраноЗвуковая дорожкаPicture-in-PictureПолноэкранный режимThis is a modal window.Начало диалоговго окна. Кнопка Escape закроет или отменит окноТекстColorБелыйЧерныйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйФонColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйПрозрачныйОкноColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачныйПолупрозрачныйПрозрачностьРазмер шрифта50%75%100%125%150%175%200%300%400%Стиль края текстаНичегоПоднятыйПониженныйОдинаковыйТеньШрифтПропорциональный без засечекМоноширинный без засечекПропорциональный с засечкамиМоноширинный с засечкамиСлучайныйПисьменныйМалые прописныеСбросить сбросить все найстройки по умолчаниюГотовоЗакрыть модальное окноКонец диалогового окна.
Всем привет! Поговорим о том, как получить один вектор, представляющий целое предложение или даже текст. То есть — как агрегировать глобальный контекст. На входе у нас есть матрица, представляющая текст. В ней столько же строк, сколько слов в тексте (например). Количество столбцов равно размеру эмбеддинга. На выходе блоков агрегации получается либо матрица, сжатая по длине, то есть по количеству строк, либо вообще один вектор. Размерность эмбеддинга, при этом, не меняется. Агрегация или пулинг применяются тогда, когда нужно получить представление информации вне зависимости от того, где конкретно во входных данных эта информация встречалась — в начале текста или в конце. Другими словами, мы получаем полезную выжимку данных, то есть знаем, о чем идёт речь, и теряем пространственную информацию, то есть забываем, где в тексте об этом говорилось. Если мы сжимаем весь текст в один вектор, то этот вектор уже представляет глобальный контекст. Модуль агрегации или пулинга, в целом, работает аналогично свёрткам: мы проходим по данным скользящим окном и к каждому окну применяем некоторую операцию. Наиболее популярны два вида пулинга — агрегация через усреднение и агрегация через выбор максимума. В обоих видах пулинга нет обучаемых параметров. Функция усреднения или взятие максимума применяются по отдельности к каждому каналу, то есть к каждому столбцу матрицы признаков. Результатом применения функции является единственное число, которое записывается в соответствующую ячейку выходного вектора. Вектор получается посредством применения этой же функции к остальным каналам. При этом, пространственная информация теряется только частично — вектор содержит информацию из двух входных векторов (как нарисовано на слайде). При этом, он не содержит информации о том, в каком именно входном векторе что было. Это приводит к постепенному увеличению ширины учитываемого контекста без увеличения количества параметров нейросети — например, один вектор на третьем уровне учитывает информацию из четырёх векторов с первого уровня, то есть рецептивное поле равно 4, вместо 3 на втором уровне.