Видео проигрыватель загружается.Воспроизвести видеоВоспроизвестиБез звукаТекущее время 0:00/Продолжительность 2:01Загрузка: 0.00%0:00Тип потока ОНЛАЙНSeek to live, currently behind liveОНЛАЙНОставшееся время -2:01 1xСкорость воспроизведения2x1.75x1.5x1.25x1x, выбрано0.75x0.5xГлавыГлавыОписанияОтключить описания, выбраноСубтитрынастройки субтитров, откроется диалог настройки субтитровСубтитры выкл., выбраноЗвуковая дорожкаPicture-in-PictureПолноэкранный режимThis is a modal window.Начало диалоговго окна. Кнопка Escape закроет или отменит окноТекстColorБелыйЧерныйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйФонColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйПрозрачныйОкноColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачныйПолупрозрачныйПрозрачностьРазмер шрифта50%75%100%125%150%175%200%300%400%Стиль края текстаНичегоПоднятыйПониженныйОдинаковыйТеньШрифтПропорциональный без засечекМоноширинный без засечекПропорциональный с засечкамиМоноширинный с засечкамиСлучайныйПисьменныйМалые прописныеСбросить сбросить все найстройки по умолчаниюГотовоЗакрыть модальное окноКонец диалогового окна.
Задача распознавания плоской структуры, в целом, сводится к задаче классификации, но это не совсем обычная классификация — есть несколько важных отличий. При обычной классификации нам дают набор объектов, и для каждого объекта нужно предсказать одну метку. При этом, данные (то есть пары "объект, метка") независимы друг от друга и взяты из одного и того же распределения. Такие данные ещё называют IID (independent and identically distributed). Когда данные независимые и одинаково распределённые, общее распределение вероятностей полностью факторизуется. На практике это означает, что мы можем обрабатывать каждый пример по отдельности: считать функции потерь по отдельности, применять оптимизацию с минибатчами, распараллеливать обработку примеров — в общем, работать с IID данными просто и приятно. Но самое важное — то, что на метку объекта влияет только сам объект, а другие объекты не влияют, и другие метки тоже не влияют. В задаче распознавания плоской структуры нам тоже дают множество объектов, но каждый объект теперь состоит из набора базовых элементов. В случае текстов это символы или слова — токены. И теперь нам нужно предсказывать метки не для каждого объекта, а для каждого элемента. Да — сами объекты по-прежнему независимые и одинаково распределённые, но элементы объектов не являются независимыми, то есть совместное распределение меток больше не факторизуется — мы не можем взять каждое отдельное слово в тексте и предсказать для него класс. Метка слова зависит от соседних слов и от меток соседних слов. Это создаёт множество трудностей на практике и основные работы в этой области посвящены тому, как бы аппроксимировать вот это вот сложное распределение, чтобы и считалось быстро, и точность приближения было практичной.
Дополнительные комментарии к видео:
Обозначение X={xi}X = \{ x_i \} говорит, что XX - это неупорядоченный набор (множество) элементов xix_i​.
Обозначение xi=jx_i = _j​ говорит, что xix_i - это упорядоченная последовательность (кортеж) элементов xijx_{ij}​, имеющих порядковый номер j внутри последовательности xix_i.