СЛОЖНОСТЬ РУССКИХ ПРАВОВЫХ ТЕКСТОВ: МЕТОДЫ ОЦЕНКИ И ЯЗЫКОВЫЕ ДАННЫЕ
1. Введение 
Языковой сложности посвящена обширная научная литература, как теоретическая, напр., [Dahl 2004; Бердичевский 2014], так и охватывающая конкретные методы оценки текстов (см., напр., обзоры в [Collins-Thompson 2014; Солнышкина, Кисельников 2015]). Современные методы подразумевают далеко не только использование классических формул читабельности. Как указано в [Crossley et al. 2019], «классические формулы читабельности в меньшей степени предсказывают понимание текста, чем формулы, разработанные с использованием лингвистических параметров, основанные на словесных признаках <…> и на признаках, которые оценивают вхождения лексических и синтаксических конструкций, связность текста, тональность, тематику и семантику». Таким образом, при оценке сложности используется все большее количество сложных для извлечения текстовых признаков, не только морфосинтаксических и лексических, но и дискурсивных (отражающих содержательную и структурную связность).
Юридический язык издавна критикуется за многословие, избыточность, длинноты, синтаксическую переусложненность, архаичную лексику и пр. (см., напр., [Tiersma 1999]).
Неудивительно, что и русские правовые тексты привлекли внимание исследователей, которые, во-первых, сконцентрировались в основном на оценке сложности текстов законов, во-вторых, использовали для оценки сложности либо только формулы читабельности (в [Дмитриева 2017] используется известная формула И. В. Оборневой), либо другие достаточно простые и немногочисленные метрики. Так, в [Кучаков, Савельев 2018] используется одна лексическая метрика (TTR, значение которой зависит от длины текста) и одна синтаксическая (расстояние между главным и зависимым по синтаксическому дереву зависимости, вычисляемое так: «для каждого конкретного текста взято одно значение, которое является максимальным для всех предложений текста» [Там же]).
В новейшей работе [Кнутов и др. 2020] использовано большее количество метрик (девять), среди которых: «доля глаголов в страдательном залоге», «доля глаголов от общего количества слов в тексте», «среднее количество слов в субстантивных именных словосочетаниях», «среднее количество причастных оборотов, расположенных в предложениях после определяемого слова, на одно предложение», «среднее количество деепричастных оборотов на одно предложение», «среднее количество слов в предложениях», «среднее расстояние между зависимыми словами в предложении», «среднее количество грамматических основ (предикативных основ, предикативных ядер) предложения (подлежащее, сказуемое или одно из них) в одном предложении», «среднее количество слов в абзаце». 
2. Состав и объем юридических корпусов 
Нашей целью является создание модели автоматического определения сложности русских правовых текстов, учитывающей значительное количество разнообразных параметров. Для достижения этой цели на начальном этапе было необходимо собрать коллекцию таких текстов, разметить их, выделить параметры оценки сложности в применении к выбранному формату разметки. Эти шаги описываются в разделах настоящей работы.
Мы собрали, предобработали и разметили три коллекции современных русских юридических текстов общим объемом около 8,5 млн токенов.
Во-первых, это коллекция русских локальных документов и актов СorRIDA, содержащая документы, с которыми периодически сталкиваются носители языка — неюристы (формы информированных согласий, договоров и пр., скачанные с сайтов государственных учреждений). Корпус СorRIDA состоит из 1546 документов и содержит 1 млн 784 тыс. токенов. 
Во-вторых, это коллекция решений Конституционного Суда РФ CorDeс, включающая 584 документа, 3427 тыс. токенов. Решения пишутся высокопрофессиональными юристами и адресованы широкому кругу граждан, описание см. в [Blinova et al. 2020a].
В-третьих, это коллекция нормативных документов CorCodex, содержащая 279 текстов кодексов, федеральных законов и постановлений Правительства РФ (в общей сложности 3 млн 227 тыс. токенов). Такие тексты вынуждены читать прежде всего профессиональные юристы.
Размеченные файлы корпусов в формате *.json будут полностью опубликованы на сайте plaindocument.org в конце 2021 г. 
3. Разметка корпусов 
Известно, что синтаксические признаки хорошо предсказывают языковую сложность, см., например, [Ivanov et al. 2018]. Корпусы, размеченные в формате UD (Universal Dependencies), в последнее время все более активно используются при оценке морфосинтаксической сложности как при межъязыковом сопоставлении, так и при сравнении текстов (коллекций текстов) на одном языке, см., например, [Berdicevsks et al. 2018; Çöltekin, Rama 2018; Yan, Kahane 2018; Dyer 2018].
Поэтому в качестве базового инструмента разметки наших трех коллекций выбран UDPipe. Как инструмент подробного морфологического анализа взят pymorphy2 [Korobov 2015].
Отдельной задачей стал выбор между доступными моделями UDPipe (существуют модели ru-syntagrus, ru-gsd, ru-taiga). Основанием для принятия решения стала статистика метрик, показывающая аккуратность работы моделей, представленная М. Стракой [Universal Dependencies 2.5 Models for UDPipe; Straka 2017]. Согласно этой статистике, где даны значения метрик аккуратности по параметрам UAS, LAS, MLAS и BLEX [CoNLL 2018 Shared Task], модель russian-syntagrusud-2.5 работает лучше, поэтому нами выбрана именно она.
После предобработки выполнена автоматическая лемматизация, морфологическая и синтаксическая разметка корпусов. Каждой словоформе присвоена двойная частеречная помета — в терминах UDPipe и в терминах pymorphy2. Частеречная разметка pymorphy2 позволяет различать ADJF — полные прилагательные, ADJS — краткие прилагательные, VERB — глаголы в личной форме, INFN — инфинитивы, PRTF — полные причастия, PRTS — краткие причастия и GRND — деепричастия. Это удобно для оценки морфосинтаксической сложности, в частности, потому, что наблюдается положительная корреляция между количеством полных прилагательных (а также причастий и деепричастий) и сложностью и отрицательная корреляция между количеством глаголов в личной форме и сложностью текстов [Дружкин 2016]. 
4. Выбранные параметры оценки языковой сложности 
С целью оценки языковой сложности юридических текстов в составе собранных корпусов отобрано более 50 параметров. Значения каждого из параметров будут записаны в состав метаданных к текстам корпусов.
Среди параметров — значения простых (базовых) метрик текстов и индексы сложности, вычисленные при помощи формул читабельности. Кроме того, более содержательным образом будут оцениваться в значительной степени условно различаемые лексическая, морфосинтаксическая и дискурсивная сложность.
В качестве базовых метрик решено использовать (среди прочих): ASL — среднюю длину предложения в словах, ASW — среднюю длину слова в слогах. Из формул читабельности, адаптированных для русского языка, выбраны FRE (GL), SMOG, ARI, DCI, CLI, см. [Бегтин 2016; Solovyev et al. 2018]. 
В качестве параметров оценки лексической сложности выбраны: значения простого TTR; значения метрик лексического разнообразия Yule’s K и Yule’s I, не зависящие от длины текстов, см. [Blinova et al. 2020a]; количество гапаксов; количество лемм со значениями индексов частотности Zipf Value, в том числе лемм с низкой общеязыковой частотностью [Blinova et al. 2020b]; количество аббревиатур и сокращений; количество слов с абстрактным значением; количество юридических терминов. При оценке сложности будут использованы пользовательские словари, в том числе словарь абстрактных слов [Solovyev et al. 2020].
Для оценки морфосинтаксической сложности выбраны, кроме прочего: количество неслужебных слов, в частности, существительных; значения Noun-Verb Ratio; количество подчинительных и сочинительных союзов; количество тегов граммем родительного падежа, среднего рода, пассива; количество относительных предложений, аппозитивных модификаторов и предложений, содержащих отношения parataxis.
Среди учитываемых дискурсивных признаков, например, количество лексических средств дискурсивной связности, в частности, дискурсивных маркеров (в UD тег discourse); повтор именных групп в соседних предложениях (эта информация полезна для оценки референциальной связности); повтор значений граммем времени и вида у глаголов в личной форме. 
5. Перспективы 
Корпусы собраны и размечены, параметры оценки сложности текстов отобраны. Ближайшим шагом станет автоматическое вычисление значений этих параметров. Затем с помощью методов машинного обучения мы создадим модель автоматического определения сложности русских текстов.
После определения численных значений (итоговых индексов) сложности будут использованы средства машинного обучения. Применение моделей трансферного обучения позволит не только с большой точностью определять сложность текстов, но и установить, какие параметры текстов в наибольшей степени коррелируют с целевой сложностью. В качестве примера нейросети с подобной архитектурой можно привести модель Universal Sentence Encoder [Cer et al. 2018]. Эта модель кодирует текст в многомерные векторы, которые можно использовать для классификации, определения семантического сходства, кластеризации и других задач обработки естественного языка. Задача определения сложности текстов в данном контексте является задачей регрессии, и метод USE в ней можно использовать для первоначального кодирования текстов и дальнейшего обучения модели методами глубокого обучения или градиентного бустинга. 