РАСПРЕДЕЛЕНИЕ НЕОДНОЗНАЧНЫХ СЛОВ В НЕКОТОРЫХ ЕВРОПЕЙСКИХ ЯЗЫКАХ 
1. Введение 
Одним из вопросов в автоматической обработке текстов является перенос методов и техник на новые языки. Несмотря на то, что многие из методов декларируются как языконезависимые, они редко тестируются больше, чем на нескольких языках, а анализ применимости данных методов к другим языкам с учетом их особенностей не проводится. Чаще всего подобные ограничения выявляются для методов и систем, изначально ориентированных на применение для английского языка, но применяемых к языкам с высокой степенью флексии, например, к русскому языку. Так, например, Протопопова и Бочаров в работе [Protopopova, Bocharov 2013] описывают применение метода снятия омонимии Брилля к русскому языку. Хотя сам по себе метод заявлен как применимый к любому языку, авторам пришлось учитывать флексию русского языка, так как правила английского языка выдавали низкий процент точности. 
Задачей данной работы была количественная оценка различий в статистике распределения грамматически неоднозначных слов в тексте по их грамматическим характеристикам (части речи, лемме и грамматическим параметрам). Эксперименты были проведены для английского, французского, испанского, итальянского, немецкого, русского и польского языков. 
2. Существующие решения 
В большей части работ, связанных с разрешением грамматической неоднозначности, приводится информация лишь для одного языка. В общем случае, темой таких исследований является частное исследование, например, распределение падежей существительных в текстах некоторого жанра [Lyashevskaya 2013] и др. Анализ литературы позволяет найти работы о частеречной омонимии в чешском, английском, венгерском, эстонском, литовском и латышском языках. 
Рассматриваемые здесь вопросы в значительной мере коррелируют с вопросами языковой сложности. Однако не все работы в этой области посвящены количественным оценкам. Так, World Atlas of Language Structures Online (WALS, http://wals.info) содержит в основном качественную информацию. При этом некоторые существующие математические методы оценки языковой сложности вызывают определенные сомнения. Так, в работе [Sadeniemi 2008] (как и в некоторых других) проводится оценка колмогоровской сложности текста оценкой степени его архивации, при том, что не совсем ясно, сложность чего именно замеряется таким образом. При этом там же сложность считается как функции от числа выделенных в тексте морфем. 
Краткое сравнение грамматической неоднозначности слов для русских и английских текстов мы проводили в [Клышинский 2013], однако двух языков недостаточно для полноценного сравнения. В данной работе мы включили в рассмотрение еще несколько языков из разных языковых групп. 
3. Метод анализа омонимичной лексики и результаты экспериментов 
Задачей морфологического анализа слова является определение его леммы (начальной формы), его части речи и набора грамматических параметров. Если слово отсутствует в словаре, назовем его несловарным - для такого слова анализ не может быть проведен. Если же слову в результате анализа было приписано более одной начальной формы, леммы или набора параметров, назовем его неоднозначным. Таким образом, по результатам анализа мы разделили слова на шесть типов: однозначное, неоднозначное по параметрам, неоднозначное по части речи, неоднозначное по лемме, неоднозначное по части речи и лемме, несловарное. 
Мы рассчитали распределение словоупотреблений по этим типам для семи европейских языков: английский, русский, французский, испанский, итальянский, немецкий и польский. Для того чтобы устранить влияние стиля корпуса, мы проводили эксперименты только на новостных корпусах. Характеристики корпусов и теггеров, использованных для разметки, приведены в табл. 1. Статистика распределения словоупотреблений по типам омонимии для анализируемых языков представлена на рис. 1 (более подробно результаты изложены в препринте http://library.keldysh.ru/preprint.asp?id=2015-4). 
Таблица 1. Характеристики систем разметки и корпусов 
Сравнение распределения слов по типам омонимии дает нам информацию о том, насколько похожи языки с точки зрения количества и типа морфологической неоднозначности. Распределения для немецкого, итальянского и испанского языков близки между собой: корреляция составила от 0,83 до 0,91, а для французского и итальянского – 0,93. Распределения слов по типам омонимии в романских и немецком языках похожи, английский и русский отличаются от них, а польский не коррелирует ни с одним языком, кроме слабого сходства с русским. 
Рис. 1. Распределение словоупотреблений по типам неоднозначности для различных языков 
В некоторых задачах можно использовать лишь слова, однозначные по части речи. В русском языке их более 80%, в польском и французском менее 70%, в английском и испанском около 40% и 45%. Значит, при анализе английских и испанских текстов проблему составляют слова, омонимичные по части речи; для русского и польского языка проблему составляет неоднозначность параметров. То есть, богатая флексия языка требует для машинного обучения размеченных корпусов большего размера, но позволяет в ряде задач (например, при применении подхода «мешок слов») обойтись без снятия омонимии. 
В экспериментах мы использовали разнородные ресурсы и инструменты. Чтобы показать отсутствие влияния такой неоднородности на распределение неоднозначных слов по типам мы провели дополнительные эксперименты. Слова в словарях сортировались по частоте употребления в корпусах и расчет проводился для 1000 самых частотных слов. Эксперименты показали, что изменение размеров словаря не изменяет формы распределения. Корреляция распределений русского языка была не ниже 0,993, для английского – 0,999. Таким образом, форма распределения определяется наиболее частотными словами языка. 
Мы провели анализ параллельных (французский, немецкий и испанский) корпусов (http://www.statmt.org/wmt13/translation-task.html#download). Для французского и испанского языков распределения получились сходными (корреляция для французского корпуса – 0,999, испанского – 0,998, немецкого – 0,94). Также результаты экспериментов были повторены на корпусе Син-ТагРус. Полученное распределение имеет сходную форму, суммарная разница в распределениях находится на уровне 10%, следовательно, распределение зависит от стиля текста или особенностей выбранного словаря, однако его форма сохраняется. 