>>1.00<<>>1.00<<Видео проигрыватель загружается.Воспроизвести видеоВоспроизвестиБез звукаТекущее время 0:00/Продолжительность 2:28Загрузка: 0.00%0:00Тип потока ОНЛАЙНSeek to live, currently behind liveОНЛАЙНОставшееся время -2:28 1xСкорость воспроизведения2x1.75x1.5x1.25x1x, выбрано0.75x0.5xГлавыГлавыОписанияОтключить описания, выбраноСубтитрынастройки субтитров, откроется диалог настройки субтитровСубтитры выкл., выбраноЗвуковая дорожкаPicture-in-PictureПолноэкранный режимThis is a modal window.Начало диалоговго окна. Кнопка Escape закроет или отменит окноТекстColorБелыйЧерныйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйФонColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйПрозрачныйОкноColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачныйПолупрозрачныйПрозрачностьРазмер шрифта50%75%100%125%150%175%200%300%400%Стиль края текстаНичегоПоднятыйПониженныйОдинаковыйТеньШрифтПропорциональный без засечекМоноширинный без засечекПропорциональный с засечкамиМоноширинный с засечкамиСлучайныйПисьменныйМалые прописныеСбросить сбросить все найстройки по умолчаниюГотовоЗакрыть модальное окноКонец диалогового окна.
Надо помнить, что правило 80/20 никто не отменял:[1] если вам надо быстро получить хоть какое-то решение, возможно, нет смысла заморачиваться с языковыми моделями или нейросетями вообще и лучше начать с векторной модели и линейных классификаторов, в части случаев этого будет вполне достаточно. Другой недостаток в том, что процесс обучения не всегда стабилен. Может потребоваться перебор гиперпараметров или несколько запусков. Когда мы работаем с векторами, у нас есть миллион способов оценить их сходство. Один из таких способов — это скалярное произведение. Физический смысл скалярного произведения, как вы все, конечно, знаете — это косинус угла между двумя векторами. Однако, когда мы работаем с текстами, в этом есть небольшая проблема. Текст — это сложная нелинейная структура, и если мы её представляем вектором, мы неизбежно теряем часть информации. ОК, вполне естественная идея — представить текст как граф или семантическую сеть. Отлично, теперь дело за малым — нужно определить хорошую операцию сходства на графах. Такую операцию принято называть "ядром". Например, мы можем запускать некоторое количество случайных обходов в этих графах, а потом смотреть, насколько обходы, полученные по разным графам, пересекаются друг с другом: чем больше пересекаются, тем больше графы похожи друг на друга. Или ядро можно выучить (с помощью нейросети, например). Когда мы нашли подходящее ядро, мы можем использовать относительно простые модели — например, метод опорных векторов[2] или поиск ближайших соседей[3]. Хорошая новость в том, что, даже не имея разметки, мы можем получить достаточно выразительный способ представления текстов. Для некоторых сложных задач — например тех, в которых размечать большие корпуса достаточно дорого, ядерные методы позволяют получить наилучшее на сегодняшний день качество. К таким областям, например, относится извлечение информации из медицинских текстов. Посредством ядра мы можем заложить в модель наши экспертные знания о предметной области, тем самым ещё сильнее сокращая требования к обучающей выборке. К сожалению, ядерные методы, с вычислительной точки зрения, иногда даже медленнее нейросетевых, так как они хуже распараллеливаются с помощью графических ускорителей. Ну и, вполне логично, модель будет ровно настолько хорошей, насколько хорошее ядро вы придумали.[4]
[1] Закон Парето или правило 80/20: https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%BA%D0%BE%D0%BD_%D0%9F%D0%B0%D1%80%D0%B5%D1%82%D0%BE
[2] SVM с нелинейным ядром
[3] Задача поиска ближайшего соседа
[4] Kriege, Nils M., Fredrik D. Johansson, and Christopher Morris. "A Survey on Graph Kernels." arXiv preprint arXiv:1903.11835 (2019). https://arxiv.org/abs/1903.11835