МАРКЕРНЫЙ ПОДХОД К АВТОМАТИЗАЦИИ ИЗВЛЕЧЕНИЯ АРГУМЕНТАТИВНЫХ СТРУКТУР ИЗ НАУЧНЫХ СТАТЕЙ
1. Введение
Автоматическое распознавание аргументов в текстах актуально для многих прикладных применений, в частности, для анализа убедительности текстов (например, качества научных статей), для поиска доказательств отдельных тезисов (что необходимо для понимания и ведения дискуссий), для подготовки разметчиков аргументационных корпусов (в связи с использованием методов машинного обучения). Разметка аргументации трудоемка и относится к типу глубоких. Она требует навыков семантического анализа текстов и не может быть осуществлена с помощью краудсорсинга. Русскоязычных корпусов с разметкой аргументации немного, см. например, [Ilina et al. 2021 и Kotelnikov et al. 2022]. В отсутствие достаточного объема размеченных данных вместо методов машинного обучения или вместе с ними применяют построенные экспертами правила. В нашем случае правила основаны на дискурсивных маркерах. Для англоязычных текстов примеры правил можно посмотреть в обзоре [Lawrence et al. 2019: 790‒794], для русскоязычных текстов, например, – в работе [Achmadeeva et al. 2019].
Цель представленного исследования ‒ составить словарь дискурсивных маркеров и оценить возможности их применения для извлечения аргументативных структур из научных статей.
2. Распознавание аргументов на основе маркеров
Автоматический анализ аргументации включает следующие этапы: 1) выявление тезисов (сегментов с аргументацией) в тексте; 2) построение связей между тезисами (объединение в аргументы); 3) определение ролей тезисов в аргументах (посылка, заключение); 4) определение типов связей (моделей рассуждения). Этапы 2) и 4) реализуются нами с помощью правил, построенных на основе словаря маркеров. Маркеры извлечены из коллекции с экспертной разметкой аргументации, дополнены отдельными риторическими маркерами из ресурса RSTreeBank (https://rstreebank.ru/). 
Маркеры делятся на следующие типы:
1) структурные, включающие названия разделов статьи (Введение, Заключение, Методы, Эксперимент,…), абзацы, спиcочные структуры (с различными цифровыми и символьными маркерами списков, разделителями элементов списков); 
2) пунктуационные;
3) лексические: 
а) общего плана, позволяющие установить только наличие связи: (кроме того,; для этого; в свою очередь,; ...); 
б) специализированные, дающие возможность установить конкретный тип связи, например, рассуждение «по аналогии»: по аналогии с; аналогично; аналогичным образом; как и; аналогичный (проблема, недостаток,…); или рассуждение «от примера»: например; напр.; к примеру; (привести) пример; и др.
На данный момент словарь маркеров содержит 223 слова и словосочетания, которые частично проверены на точность работы. Важной для поиска маркера информацией часто является его позиционное расположение в предложении, а именно: в начальной или близкой к ней позиции. К примеру, маркеры связи «. Поэтому», «. Именно поэтому» работают с высокой точностью, определяя рассуждения преимущественно по модели CauseToEffеct. Но не всегда эти рассуждения включаются в граф аргументации, т.е. имеют статус аргументативных. В начальной позиции упомянутые маркеры указывают на тезисы с точностью 63%, тогда как маркер «, поэтому» является более слабым: точность определения с его помощью аргументативной связи равна 40%. Он может обнаруживать связи, соответствующие моделям Sign, AppliedMethod, PositiveConsequence. Таким образом, для надежной работы маркеров необходима дополнительная информация об аргументативности связываемых сегментов. В нашем случае эта информация извлекается из анализируемых текстов с помощью методов машинного обучения.
Поисковые шаблоны построены на базе отдельных маркеров для распознавания аргументов с тремя функционально близкими моделями: «по аналогии» (A), «от примера» (E), «согласно классификации» (VC). Вид шаблонов демонстрируют примеры ниже (в скобках «[», «]» через символ «|» указаны варианты):
(Е): Х [ .|:|,|( ][[H|н]апример | [K|к]примеру [,| _ ] Y [)]]=> Y(E)→X. 
(А): Х [ .|,|( ] [[П|п]о аналогии | [А|а]налогичн[о|ым образом] | [А|а]налогичн[ый|ая|ое|ые]] Y [ ) ] => Y(А)→X. 
Для представления шаблонов используется язык регулярных выражений. В выводе (=>) указано, как строится связь.
3. Распознавание аргументативных связей
Эксперимент по распознаванию структур аргументации проведен нами на всех четырех этапах аргументационного анализа текстов. В этой статье мы подробнее остановимся на установлении связей между тезисами и поиске аргументов, реализующихся по определённым моделям рассуждения.
3.1. Тексты с разметкой аргументации
Размеченный корпус составили 34 коротких научных статьи (17 статей по лингвистике и 17 по информационным технологиям объемом 800‒1500 слов). Тексты взяты из открытых источников: трудов конференции по корпусной лингвистике и online библиотеки (https://cyberleninka.ru/). В текстах коллекции содержится 1352 аргумента и 1539 утверждений (сегментов, выделенных экспертом). Экспертная разметка аргументации проведена с помощью онлайн-платформы ArgNetBankStudio [Сидорова и др. 2020]. Её функциональность позволяет осуществлять моделирование аргументации как, например, показано в работе [Пименов 2021].
3.2. Построение связей между тезисами по маркерам
Алгоритм связывания сначала строит индекс слов словаря маркеров по коллекции текстов. Затем для каждого вхождения маркера проверяется условие аргументативности его содержащего утверждения. Аргументативность устанавливается на независимо выполняемом этапе классификации утверждений с помощью метода опорных векторов, точность и полнота которого равны P = 0,72 и R = 0,81 соответственно. Обучающая коллекция при классификации включает 961 утверждений (26 текстов), тестовая ‒ 391 (8 текстов). При разделении утверждений по коллекциям соблюдается принцип целостности текстов. Для параметров классификатора взяты значения по умолчанию (их надёжность проверена эмпирически).
Примыкающие справа и слева к маркеру утверждения считаются связанными. Примеры «слабых» и «сильных» маркеров приведены в табл. 1, где n – частота встречаемости маркера в коллекции, Pr, C ‒ роль тезиса, в котором содержится маркер (посылка, заключение). В последней колонке представлен список моделей рассуждения, устанавливаемых с применением маркера (CtoE ‒ «от причины к следствию», PtoKn – «от знающего», ExOp – «от экспертного мнения», L – «конфликт», Sign – «от знака», CtoC – «через взаимосвязь», PtoW – «часть‒целое», P1 – точность определения связи без учета аргументативности утверждений, P2 – с учетом аргументативности).
Таблица 1. Характеристики качества маркеров
Из таблицы видно, что маркеры связей с учетом знания об аргументативности связываемых утверждений работают существенно лучше, чем при его отсутствии. Использование маркеров позволяет получить дополнительную информацию о типе связи и ролях связываемых утверждений. В среднем точность определения аргументативной связи в полтора раза выше, если информация об аргументативности утверждений доступна. Источником ошибок является несовершенство правила, не учитывающего возможную позиционную отдалённость тезисов; параллельного, а не только последовательного связывания утверждений; а также ошибки классификации сегментов на аргументативные и неаргументативные.
3.3 Поиск аргументов с особыми моделями рассуждения
Распознавание отдельных моделей рассуждения, а именно «по аналогии» (A), «от примера» (E), «согласно классификации» (VC) с применением поисковых шаблонов позволяет установить и роли связанных тезисов, т.к. они прописаны в шаблоне. Точность работы шаблонов P по каждому типу связи указана в табл. 2.
Таблица 2. Оценки качества распознавания трех моделей связи
В среднем по трем типам связи построенные шаблоны демонстрируют довольно высокую точность обнаружения – 88%. Ошибочными в распознавании моделей рассуждения не считались случаи, когда связь имела место, но не была выделена в разметке экспертом. Например, в предложении по маркеру «как и» разметчик не выделил связь «по аналогии», отметив всё предложение как целостный тезис: «Для наиболее распространённых слов показатель степени 1 (как и в стандартной формулировке закона), для редких слов колеблется в интервале 1,5 – 2,4 для различных языков». Ключевые ошибки возникают в сложных случаях, не отраженных в шаблонах, например, когда связанные тезисы позиционно отдалены в тексте или встречаются в предложении со сложной синтаксической структурой, позволяющей реализовать несколько разных схем.
Применение маркеров и шаблонов для связывания тезисов позволяет восстановить частично распознанный аргумент (только посылку или заключение) путем присоединения утверждения, связанного с распознанным, но при этом не распознанного как аргументативное. Например, в предложении «[Это может быть связано с тем, что в настоящее время машинный код может понадобиться специалистам узкого профиля], например, системного программирования, защиты информации или программирования устройств напрямую» заключение (выделено квадратными скобками) не распознано как аргументативное утверждение, но может быть присоединено через обнаруженную по шаблону связь «от примера». Такой способ восстановления частично распознанных аргументов является и источником ошибок в случае некорректного распознавания тезисов. 
Использование шаблонов (как и маркеров) позволяет строить цепочки, содержащие несколько аргументов, за счет соединения позиционно близких утверждений, а также реализовывать параллельное связывание при установлении конкретных типов связей в случае, если применяется модель «через классификацию» или модель «от примера», когда автор приводит ряд примеров. 
3. Заключение
В работе показано, что применение дискурсивных маркеров в совокупности с информацией об аргументативности связываемых утверждений позволяет с высокой точностью осуществить объединение тезисов в аргументы, дополнить частично распознанные методами машинного обучения аргументы до полных, установить возможный тип или типы  связи. Для отдельных типов связи построены поисковые шаблоны.