Рассказ от имени точки знака препинания

Если Вы считаете, что материал нарушает авторские права либо по каким-то другим причинам должен быть удален с
сайта, Вы можете оставить жалобу на материал.

Пожаловаться на материал

• Сейчас обучается 973 человека из 79 регионов

• Сейчас обучается 876 человек из 81 региона

• Сейчас обучается 1013 человек из 81 региона

Вопрос
83. Принципы русской пунктуации. Знаки препинания и их основные функции.

Пунктуация — это
совокупность правил о постановке знаков препинания; сами знаки препинания,
используемые в письменной речи для указания на её расчленение и шире – систему
знаков препинания; раздел языкознания, изучающий закономерности системы и
функционирование знаков препинания.

Знаки препинания –
часть графической системы языка, условно принятые вне алфавитные обозначения
для расчленения речи в её письменной форме, а также для выявления
синтаксической и смысловой структуры письменного текста.

Современная
русская пунктуация, отраженная в. печатных текстах, представляет собой
совокупность общепринятых, рекомендуемых соответствующими документами правил
пользования знаками препинания. Русская пунктуация сложилась к 18 в . В др-рус.
памятниках число знаков препинания было ограничено. Они не имели никакой
смысловой функции и обозначали только членение текста, вызванное потребностью
пишущего остановиться (отдохнуть). Развитие пунктуации связано с развитием
книгопечатания. Позднее на расстановку знаков препинания серьёзное влияние
стали оказывать писатели. Первые работы по пунктуации принадлежали М. Греку,
Лаврентию Зезанию, Милентию Смотрицкому. Ломоносов в «Российской грамматике»
дал следующий перечень знаков: точка, запятая, две точки, точка с запятой,
вопросительный знак, единительный знак (перенос), вместительный знак (скобки).

Разработка
вопросов пунктуации связана с именами Н.И. Греча, А.Х Востокова, Ф.И. Буслаева.

Я.К. Грот попытался
обобщить предшествовавшие исследования. В основе – логическое членение речи,
передающееся в устной речи паузами и интонацией.

А.М. Пешковский и
Л.В. Щерба писали о главенствующей роли интонации. Однако, Щерба не отрицал
роли логического и смыслового членения.

В дальнейшем
разработка вопросов пунктуации пошла по пути выявления целого комплекса
принципов:

• Формально-грамматический
  (структурный)
• Смысловой
• Интонационный

Назначение
пунктуации заключается в том, чтобы обеспечивать читающему правильное понимание
смысла написанного. Поскольку правильное понимание текста зависит прежде всего
от его смыслового членения (на предложения и различные их части), постольку
основой пунктуации является смысловое членение речи.

Часто смысловому
членению речи соответствует ее грамматическое членение, а в устной речи и ее
интонационное членение; иначе говоря, смысловое членение выражается
грамматически и интонационно. В этом случае  можно говорить о совпадении
смысловых, грамматических и интонационных оснований для постановки знаков
препинания, или о структурно-семантической основе пунктуации.

Однако есть
случаи, когда три указанных основания: смысловое, грамматическое, интонационное
— могут не совпадать. Так, нередко смысловое и грамматическое членение речи не
совпадает с ее интонационным членением.

Структурный
принцип. Большинство знаков ставится на основании этого принципа (стабильность,
общепринятость, обязательность). Эти знаки не могут быть факультативными.

• Точка
  в конце предложения
• На
  стыке частей СП
• При
  однородных членах
• При
  обособленных
• При
  междометиях, обращениях, вводных и вставных конструкциях

Структурное
членение совпадает и тесно связано со смысловой стороной речи. Иногда
семантическое членение речи подчиняет себе стуктурное. На смысловом основании
ставится … , знаки в БСП

Молодёжь ушла, в
клубе стало скучно (последовательность)

Молодёжь ушла: в
клубе стало скучно (причина)

Молодёжь ушла — в
клубе стало скучно (следствие)

Знаки препинания
могут влиять на смысл, на психологическую глубину предложения

Без хворостины в
руке, ночью, он, нимало не колеблясь, поскакал один на волка.

Смысловой принцып
часто проявляется при постановке знака между однородными и неоднородными
определениями.

Лишь отчасти
пунктуация основывается на интонационном принципе, при постановке ?,  !,
интонационного – , …, . (на месте длительной паузы с
понижением голоса – парцелляция).

А зимой беда у неё
случилась. Большая.

Интонационный
принцып обычно не выступает в чистом виде, он зависит от первых двух.

В русской
пунктуации употребляются следующие знаки препинания: точка, вопросительный
знак, восклицательный знак, многоточие, запятая, точка с запятой, двоеточие,
тире, скобки, кавычки. Функцию знака препинания выполняет также абзацный
отступ, или красная строка. Знаки препинания выполняют две основные функции: 1)
отделения, 2) выделения. Одни из знаков препинания служат только для отделения
(отделяющие знаки препинания); это одиночные знаки препинания: точка, точка с
запятой, восклицательный и вопросительный знаки, многоточие, двоеточие; сюда же
относится и абзацный отступ. С помощью этих знаков отделяются друг от друга
предложения, предикативные части некоторых сложных предложений, иногда
однородные члены и другие конструкции.

Другие знаки
препинания служат только для выделения (выделяющие знаки препинания); это
двойные знаки: скобки и кавычки. С помощью этих знаков выделяются вводные и
вставочные обороты и предложения (скобки) и прямая речь (кавычки).

Третьи знаки препинания
(запятая и тире) многофункциональны, то есть могут выступать и как отделяющие,
и как выделяющие в зависимости от конкретных условий, в которых они
употребляются. Так, с помощью запятой могут быть отделены друг от друга и части
сложного предложения, и однородные члены; с помощью тире отделяются в ряде
случаев части сложных предложений, однородные члены от обобщающего слова, одни
члены предложения от других в некоторых неполных предложениях и в других
конструкциях.

С помощью запятых
выделяются различные обособленные обороты, обращения, вводные слова; с помощью
тире могут выделяться вводные и вставочные предложения.

В ряде случаев,
как, например, в предложениях с прямой речью, употребляются сложные комбинации
выделяющих и отделяющих знаков.

Указанные основные
функции знаков препинания (отделение и выделение) часто осложняются более
частными, смыслоразличительными функциями. Так, знаки конца предложения не
только отделяют одно предложение от другого, но выражают и то, каким является
данное предложение по цели высказывания или по степени эмоциональности. Ср.: Он
не придет. Он не придет? Он не придет!

Показательно в
этом отношении употребление знаков препинания и в бессоюзных предложениях, в
которых знаки препинания несут и смысловую нагрузку, сигнализируют о
грамматическом значении бессоюзных предложений. Так, например, в предложении Он
не приходит, ждет она выражаются отношения перечисления, в предложении Он не
приходит — ждет она — отношения противительные.

Как пунктуация в
целом, так и отдельные знаки препинания исторически изменялись. Ушли из
пунктуационной системы такие знаки препинания, как (4 точки ромбиком, и 3 точки
треугольником). К 18 в появляется – , …, «». Распространение тире связано с
именем Карамзина. Н.С. Валгина отмечает следующие активные процессы в русской
пунктуации:

• Сравнительно
  редкие в современной письменной речи : и ; в 19 в
  использовались шире (Лермонтов). ; могла ставиться после обращения,
  между однородными членами, перед скобками, между словами автора и прямой
  речью
• В 19-начале
  20 вв часто употреблялось , –  в качестве единого знака препинания
  на стыке частей СП (А. Толстой). В современной системе он используется для
  оформления прямой речи
• В
  настоящее время выявляется тенденция к вытеснению двоеточия знаком тире
• Часто
  используется – – как связующий знак (педагог – коллектив – личность)
• В
  письменной речи последних десятилетий широко используется парцелляция каак
  приём экспрессивной передачи материала
• Приближается
  лето. Яркое. Жаркое.

При разработке систем распознавания речи мы сталкиваемся с заблуждениями среди потребителей и разработчиков, в первую очередь связанными с разделением формы и сути. Одним из таких заблуждений является то, что в устной речи якобы «можно услышать» грамматически верные знаки препинания и пробелы между словами, когда по факту реальная устная речь и грамотная письменная речь очень сильно отличаются (устная речь скорее похожа на «поток» слегка разделенный паузами и интонацией, поэтому люди так не любят монотонно бубнящих докладчиков).

Понятно, что можно просто начинать каждое высказывание с большой буквы и ставить точку в конце. Но хотелось бы иметь какое-то относительно простое и универсальное средство расстановки знаков препинания и заглавных букв в предложениях, которые генерирует наша система распознавания речи. Совсем хорошо бы было, если бы такая система в принципе работала с любыми текстами.

По этой причине мы бы хотели поделиться с сообществом системой, которая:

• Расставляет заглавные буквы и основные знаки препинания (точка, запятая, дефис, вопросительный знак, восклицательный знак, тире для русского языка);
• Работает на 4 языках (русский, английский, немецкий, испанский);
• По построению должна работать максимально абстрактно на любом тексте и не основана на каких-то фиксированных правилах;
• Имеет минимальные нетривиальные метрики и выполняет задачу улучшения читабельности текста;

На всякий случай явно повторюсь — цель такой системы — лишь улучшать читабельность текста. Она не добавляет в текст информации, которой в нем изначально не было.

Постановка задачи и метод ее решения

На вход подается предложение, записанное строчными буквами и без какой-либо пунктуации — как мы обычно получаем на выходе системы распознавания речи. Требуется разработать модель, восстанавливающую его грамотную запись в смысле использования заглавных букв и знаков препинания. Набор знаков препинания .,—!?- был выбран исходя из оценки того, отсутствие каких символов наиболее бросается в глаза в предложениях, которые в среднем встречаются в речи в целевых доменах.

Кроме того, модель разрабатывалась из предположения, что после, и только после каждого токена сетке следует проставить только одну метку — знака препинания или просто пробела. Это автоматически исключает сложные случаи расстановки пунктуации в начале предложения или из нескольких символов (самый яркий пример — разнообразная прямая речь в литературе). Это упрощение сделано намеренно, т.к. нам показалось, что такое ограничение более конструктивно, чем учет всех малочисленных краевых случаев. И вообще главная задача, скорее, в улучшении читабельности, чем в идеальной записи составной прямой речи с обращениями и описаниями.

Задачу предполагалось сразу решать для нескольких основных языков. При этом модель по построению может быть легко расширена на произвольное количество языков, с которыми мы работаем, при наличии потребности и соответствующих корпусов данных.

Решение виделось прежде всего в виде какой-то малой бертоподобной модели с классифицирующими слоями поверх. В качестве данных для обучения использовались приватные корпуса, уже имевшиеся в наличии.

Мы ознакомились с недавним решением смежной задачи от коллег, однако, для наших целей требовалась:

• Более легкая модель с более общей специализацией;
• Реализация, не использующая напрямую внешние АПИ и не имеющая такое большое число зависимостей.

В результате у нашего решения из значительных зависимостей только сам PyTorch, никаких специализированных библиотек.

Поиск базовой модели

По возможности мы хотели взять небольшую предобученную языковую модель. Однако, поиск по списку готовых моделей, доступных на https://huggingface.co/, дает не самые обнадеживающие результаты: требование мультиязычности и уменьшения модели, например, дистилляции, по сути приводят нас к единственной доступной опции, и то с весом в полгигабайта.

Здесь, наверное можно сделать ремарку про степень полезности «революции трансформеров» в NLP, но напрашивающиеся выводы мы оставим на усмотрение читателя.

Итоговый размер модели и ее сжатие

Мы экспериментировали с разными архитектурами, но в итоге остановились на самой простой, и итоговый размер модели составил 520 мегабайт.

Такой размер дистилированного берта в основе нас не вполне устроил, и мы попробовали сжать обученную модель. Самый простой и эффективный способ — конечно, квантизация (причем сочетание статической и динамической как здесь) — и в результате модель была ужата до 130 мегабайт без значимой потери качества, потому всюду далее будут именно метрики финальной квантизованной модели.

Кроме того, мы сократили избыточный для нашей задачи словарь, выкинув токены для других языков, что позволило сжать эмбеддинг размера 120 тысяч токенов (размер токена — аж 768) до более приятных 75 тысяч. Наверняка можно было еще подрезать не самые часто используемые токены и применить оставшиеся более продвинутые методы сжатия моделей (факторизацию и замену механизма «внимания» на более простые аналоги), но мы решили остановиться, поскольку модель уже стала меньше 100 мегабайт.

Используемые метрики

Вопреки всеобщему тренду на сенсационализм и утрату рационального мышления, во всех наших статьях мы стараемся показывать максимально подробные, информативные и честные метрики на разных данных. В данном случае приведем метрики полученной модели на:

• Валидационных сабсетах наших приватных текстовых корпусов (5,000 предложений на каждый язык);
• Текстах аудиокниг, будем использовать датасет caito, в котором как раз есть тексты на всех языках, на которых обучалась модель (20,000 случайных предложений на каждый язык);

В качестве метрик в этой задаче используем:

• WER (word error rate) в процентах, причем отдельно рассчитанный для пунктуации (оба предложения при этом приведены к строчному виду) — WER_p и для расставления заглавных букв (а здесь выбрасываем всю пунктуацию) — WER_c;
• Precision / recall / F1 для проверки качества классификации: между пробелом и упомянутыми выше знаками пунктуации .,—!?-, а для расстановки заглавных букв — между классами токен из строчных букв / токен начинается с заглавной / токен из всех заглавных. Также для наглядности вы можете посмотреть на confusion матрицы;

Результаты

Для корректного и информативного расчета метрик из текстов были выброшены:

• Пунктуационные символы помимо .,—!?-;
• Пунктуация в начале предложения;
• Пунктуационные символы после первого в случае комбинации из нескольких пунктуационных знаков;
• Для испанского ¿¡ из предсказаний модели были отброшены, т.к. в текстах книжек их тоже нет, но вообще модель их расставляет;

На вход модели подавались отдельные предложения, а не наборы предложений.

WER

В ячейках указан WER_p / WER_c, а наивный бейзлайн состоит в постановке заглавной буквы в начале предложения и точки в конце.

Домен — валидационные данные:

Домен — книги:

Precision / Recall / F1

Домен — валидационные данные:

Домен — книги:

Как можно заметить из таблиц — даже для русского, значения дефиса остались пустыми, потому что на использовавшихся для расчета метрик данных модель предлагала его не проставлять вовсе, либо заменять дефис каким-нибудь иным символом (как видно в матрицах ниже); похоже, он лучше расставляется в случае предложений в форме определений (см. пример в конце статьи).

Для контекста

Приведем доступные F1 метрики из разных статей, где решались смежные задачи — здесь разные языки, разные валидационные данные, поэтому напрямую сравнить не удастся, но можно оценить порядок цифр. Cистема классов в таких работах тоже обычно иная — COMMA, PERIOD, QUESTION:

Сonfusion matrices

Матрицы по книжкам:

en

de

ru

es

Примеры работы модели

Глядя на то, что для домена книг все же не везде метрики выглядят информативными и иногда совпадают с тривиальным решением, мы добавили и примеры именно текстов — для сравнения оригинальной расстановки пунктуации и заглавных букв с результатом работы модели.

Здесь более наглядны особенности работы модели:

• Где-то модель расставляет знаки препинания и заглавные буквы вполне неплохо, но не как в оригинальном тексте;
• Где-то пропускает или ошибается, а еще в книжках она выставляет вопросы и восклицания чересчур усердно;

Но тут нет ничего удивительного — новой информации модель не создает (никак неиссякаемая тугая струя желтых статей про «zoom and enhance» на Хабре удручает), мысли автора текста не читает и вообще по сути просто делает текст более привычным глазу.

Как запустить

Модель выложена в репозитории проекта silero-models и, соответственно, будет поддерживаться, как и прочие наши решения оттуда. А вот простой запуск модели (с более подробными примерами можно ознакомиться в colab):

import torch

model, example_texts, languages, punct, apply_te = torch.hub.load(repo_or_dir='snakers4/silero-models',
                                                                  model='silero_te')

input_text = input('Enter input textn')
apply_te(input_text, lan='en')

Ограничения

У данной работы есть ряд ограничений и очевидных вещей, которые мы решили пока не делать (так сказать нужно же было где-то поставить точку):

• На языках кроме английского модель сносно работает с длинными предложениями. Но разделять несколько предложений или целые параграфы текста на отдельные предложения она по построению пока не умеет;
• Не совсем понятно как делить на предложения целые «книги» и неясно нужно ли это вообще в принципе;
• Мы не применили факторизацию и структурированный прунинг к модели (например снижение числа голов в механизме внимания);

Нам более-менее очевидно, как сделать большую часть этих вещей, но только время и разведка боем покажет востребованность подобного рода инструментов.