Институт проблем искусственного интеллекта

Государственный университет информатики и

искусственного интеллекта

Синтаксический анализ
как способ разрешения

морфологической неоднозначности

Гнитько Д.С.

Кацивелли – 2010

Начальные этапы обработки ЕЯ текстов 2

• Предобработка текста:

  • разбиение текста на базовые элементы*;

  • классификация базовых элементов.

• Морфологический анализ:

  • словарный морфологический анализ простых слов;

  • словарный морфологический анализ составных слов;

  • безсловарный морфологический анализ слов.

• Разрешение морфологической неоднозначности.

Ограничения:

Текст – последовательность предложений.

Предложения являются простыми распространенными неосложненные.

Предложение – последовательность слов русского языка.

*Базовые элементы: слово, знаки препинания, последовательность цифр, вспомогательные символы.

Алгоритм синтаксического анализа простого предложения 3

Представление предложения из N словоформ, получаемое в результате морфологического анализа:

S = (s₁,..., s_i,..., s_N). (1)

Здесь i – номер словоформы в предложении, s_i – множество вариантов интерпретации i-ой словоформы:

s_i={}, , (2)

где – j-й вариант написания леммы и – j-й вариант морфологи­ческой информации.

 (x, y) – отношение, выражающее возможную синтаксическую связь между вариантами интерпретации пары словоформ

xs_i, ys_h, i, h = , i  h, (3)

в которой х выступает в роли главного слова, а y – в роли зависимого.

Пусть R – множество всех возможных синтаксически связанных пар (x, y) предложения S, А – множество первых компонент в парах множества R, B – множество вторых компонент пар множества R:

R={(x,y)}: xe_i, ye_h, ih,  (x, y)

А={x}: (x,y)R, B={y}: (x,y)R. (4)

Критерий отсутствия в предложении словоформ, не связанных с другими словоформами:

i =  zs_i : z (AB). (5)

Для сокращения количества вариантов интерпретаций словоформ формируем вектор S:

S = (s₁, ..., s_i, ..., s_N),

s_i  s_i :  z s_i (zA)( zB). (6)

S описывает множество D возможных морфологических разметок предложения: 4

D=s₁... s_i... s_N,

D={d_k : d_k=}. (7)

Критерий отсутствия в возможной морфологической разметке предложения d_k словоформ, не связанных с другими словоформами:

F_k = {d_kⁱ : i = }

R_k={(x,y): (x,y) R, xF_k, yF_k}

A_k={x: (x,y)  R_k }

B_k={y: (x,y)  R_k }

i = d_kⁱ  (A_kB_k). (8)

Критерий правильного использования предлогов.

Pr – множество предлогов русского языка.

 zPr∩F_k zB_k∩А_k (9)

Перечень минимальных структурных схем 5

N₁V_f (1.1) Примеры предложений: Грачи прилетели. Дела делаются.

N₁ Cop_f Adj _1/ 5/f (1.2)  Примеры предложений: Ночь была тихая (тихой, тиха). Ночь тихая (тиха). Ночь была тише.

N₁ Cop_f N _1/ 5 (1.3)  Примеры предложений: Он (был) студент. Он был студентом.

N₁ Cop_f N_2…pr /Adv_pr (1.4)  Примеры предложений: Дом (будет) без лифта. Люди (были) в отчаянии. Чай – с сахаром. Глаза (были) навыкате.

Inf V_f (1.5) Примеры предложений: Курить воспрещалось. Отмалчиваться следуед.

Inf Cop_f N _1/5 (1.6) Примеры предложений: Дозвониться – проблема (было проблемой).

Любить иных – тяжелый крест.

Inf Cop_f Adj _{1/ 5/ f} (1.7)  Примеры предложений: Промолчать – разумное решение.

Промолчать – разумно (разумнее).

Inf Cop_f N_2…pr /Adv_pr (1.8)  Примеры предложений: Промолчать было в его правилах.

Молчать некстати. Идти трудно.

Inf Cop_f Inf (1.9)  Примеры предложений: Отказаться было обидеть.

Cop_s3 Adj_fsn (1.10)  Примеры предложений: Было темно. Ночью будет морозно. 

Cop_pl3 Adj_fpl (1.11)  Примеры предложений: Результатом были довольны. Отказом были обижены.   

Cop_pl N_2…pr /Adv_pr (1.12)  Примеры предложений: Дома были в слезах. Все были в восторге. 

Cop_f N₁ (1.13)  Примеры предложений: Будет дождь. Была зима. 

Cop_s3 N_2…pr /Adv_pr (1.14)  Примеры предложений: Будет без осадков. Было поздно.