Основы дискриминантного анализа

1. Введение
2. Теоретическая часть
   • Каноническая дискриминация
     • Коэффициенты канонической дискриминантной функции
     • Нестандартизованные коэффициенты
     • Число дискриминантных функций
   • Классифицирующие функции
     • Применение элементарных классифицирующих функций
     • Классификация объектов с помощью функции расстояния
     • Классификационная матрица
3. Литература

Дискриминантный анализ является разделом многомерного статистического анализа, который позволяет изучать различия между двумя и более группами объектов по нескольким переменным одновременно. Дискриминантный анализ — это общий термин, относящийся к нескольким тесно связанным статистическим процедурам. Эти процедуры можно разделить на методы интерпретации межгрупповых различий — дискриминации и методы классификации наблюдений по группам. При интерпретации нужно ответить на вопрос: возможно ли, используя данный набор переменных, отличить одну группу от другой, насколько хорошо эти переменные помогают провести дискриминацию и какие из них наиболее информативны?.

Методы классификации связаны с получением одной или нескольких функций, обеспечивающих возможность отнесения данного объекта к одной из групп. Эти функции называются классифицирующими и зависят от значений переменных таким образом, что появляется возможность отнести каждый объект к одной из групп.

Задачи дискриминантного анализа можно разделить на три типа. Задачи первого типа часто встречаются в медицинской практике. Допустим, что мы располагаем информацией о некотором числе индивидуумов, болезнь каждого из которых относится к одному из двух или более диагнозов. На основе этой информации нужно найти функцию, позволяющую поставить в соответствие новым индивидуумам характерные для них диагнозы. Построение такой функции и составляет задачу дискриминации.

Второй тип задачи относится к ситуации, когда признаки принадлежности объекта к той или иной группе потеряны, и их нужно восстановить. Примером может служить определение пола давно умершего человека по его останкам, найденным при археологических раскопках.

Задачи третьего типа связаны с предсказанием будущих событий на основании имеющихся данных. Такие задачи возникают при прогнозе отдаленных результатов лечения, например, прогноз выживаемости оперированных больных.

Дискриминация

Основной целью дискриминации является нахождение такой линейной комбинации переменных (в дальнейшем эти переменные будем называть дискриминантными переменными), которая бы оптимально разделила рассматриваемые группы. Линейная функция

(1)

Коэффициенты первой канонической дискриминантной функции выбираются таким образом, чтобы центроиды различных групп как можно больше отличались друг от друга. Коэффициенты второй группы выбираются также, но при этом налагается дополнительное условие, чтобы значения второй функции были некоррелированы со значениями первой. Аналогично определяются и другие функции. Отсюда следует, что любая каноническая дискриминантная функция  имеет нулевую внутригрупповую корреляцию с . Если число групп равно g, то число канонических дискриминантных функций будет на единицу меньше числа групп. Однако по многим причинам практического характера полезно иметь одну, две или же три дискриминантных функций. Тогда графическое изображениее объектов будет представлено в одно–, двух– и трехмерных пространствах. Такое представление особенно полезно в случае, когда число дискриминантных переменных p велико по сравнению с числом групп g.

Для получения коэффициентов  канонической дискриминантной функции нужен статистический критерий различения групп. Очевидно, что классификация переменных будет осуществляться тем лучше, чем меньше рассеяние точек относительно центроида внутри группы и чем больше расстояние между центроидами групп. Разумеется, что большая внутригрупповая вариация нежелательна, так как в этом случае любое заданное расстояние между двумя средними тем менее значимо в статистическом смысле, чем больше вариация распределений, соответствующих этим средним. Один из методов поиска наилучшей дискриминации данных заключается в нахождении такой канонической дискриминантной функции d, которая бы максимизировала отношение межгрупповой вариации к внутригрупповой [1,2,3,4]

(2)

где B — межгрупповая и W внутригрупповая матрицы рассеяния наблюдаемых переменных от средних. В некоторых работах [3,4] в (2) вместо W используют матрицу рассеяния T объединенных данных.

Рассмотрим максимизацию отношения (2) для произвольного числа классов. Введем следующие обозначения:

 — число классов;

число дискриминантных переменных;

 — число наблюдений в k–й группе;

 — общее число наблюдений по всем группам;

 — величина переменной i для m–го наблюдения в k–й группе;

 — средняя величина переменной i в k–й группе;

 — среднее значение переменной i по всем группам;

 — общая сумма перекрестных произведений для переменных u и v;

 — внутригрупповая сумма перекрестных произведений для переменных u и v.

; .

В модели дискриминации должны соблюдаться следующие условия:

1. число групп: ;
2. число объектов в каждой группе: ;
3. число дискриминантных переменных: ;
4. дискриминантные переменные измеряются в интервальной шкале;
5. дискриминантные переменные линейно независимы;
6. ковариационные матрицы групп примерно равны;
7. дискриминантные переменные в каждой группе подчиняются многомерному нормальному закону распределения.

Рассмотрим задачу максимизации отношения (2) когда имеются g групп. Оценим сначала информацию, характеризующую степень различия между объектами по всему пространству точек, определяемому переменными групп. Для этого вычислим матрицу рассеяния T, которая равна сумме квадратов отклонений и попарных произведений наблюдений от общих средних  по каждой переменной. Элементы матрицы T определяются выражением [3,4]

, (3)

где ;.

Запишем это выражение в матричной форме. Обозначим p–мерную случайную векторную переменную k-ой группы следующим образом

.

Тогда объединенная p-мерная случайная векторная переменная всех групп будет иметь вид

Общее среднее этой p-мерной случайной векторной переменной будет равен вектору средних отдельных признаков

.

Матрица рассеяния от среднего при этом запишется в виде

. (4)

Если использовать векторную переменную объединенных переменных X, то матрица T определится по формуле

Матрица T содержит полную информацию о распределении точек по пространству переменных. Диагональные элементы представляют собой сумму квадратов отклонений от общего среднего и показывают как ведут себя наблюдения по отдельно взятой переменной. Внедиагональные элементы равны сумме произведений отклонений по одной переменной на отклонения по другой.

Если разделить матрицу T на , то получим ковариационную матрицу. Для проверки условия линейной независимости переменных полезно рассмотреть вместо T нормированную корреляционную матрицу.

Для измерения степени разброса объектов внутри групп рассмотрим матрицу W, которая отличается от T только тем, что ее элементы определяются векторами средних для отдельных групп, а не вектором средних для общих данных. Элементы внутригруппового рассеяния определятся выражением

. (5)

Запишем это выражение в матричной форме. Данным g групп будут соответствовать векторы средних

(6)

Тогда матрица внутригрупповых вариаций запишется в виде

. (7)

Если разделить каждый элемент матрицы W на (n–g), то получим оценку ковариационной матрицы внутригрупповых данных.

Когда центроиды различных групп совпадают, то элементы матриц T и W будут равны. Если же центроиды групп различные, то разница (8)
будет определять межгрупповую сумму квадратов отклонений и попарных произведений. Если расположение групп в пространстве различается (т.е. их центроиды не совпадают), то степень разброса наблюдений внутри групп будет меньше межгруппового разброса. Отметим, что элементы матрицы В можно вычислить и по данным средних.

(9)

Матрицы W и B содержат всю основную информацию о зависимости внутри групп и между группами. Для лучшего разделения наблюдений на группы нужно подобрать коэффициенты дискриминантной функции из условия максимизации отношения межгрупповой матрицы рассеяния к внутригрупповой матрице рассеяния при условии ортогональности дискриминантных плоскостей. Тогда нахождение коэффициентов дискриминантных функций сводится к решению задачи о собственных значениях и векторах [3]. Это утверждение можно сформулировать так: если спроектировать  групп р–мерных выборок на  пространство, порожденное собственными векторами , то отношение (2) будет максимальным, т.е. рассеивание между группами будет максимальным при заданном внутригрупповом рассеивании. Если бы мы захотели спроектировать g выборок на прямую при условии максимизации наибольшего рассеивания между группами, то следовало бы использовать собственный вектор ), соответствующий максимальному собственному числу . При этом дискриминантные функции можно получать: по нестандартизованным и стандартизованным коэффициентам.

Пусть  и  соответственно собственные значения и векторы. Тогда условие (2) в терминах собственных чисел и векторов запишется в виде

,

что влечет равенство , или в матричной записи

, (10)

где  — символ Кронекера. Таким образом, решение уравнения  позволяет нам определить компоненты собственных векторов, соответствующих дискриминантным функциям. Если B и W невырожденные матрицы, то собственные корни уравнения  такие же, как и у . Решение системы уравнений (10) можно получить путем использования разложения Холецкого  матрицы и решения задачи о собственных значениях

.

Каждое решение, которое имеет свое собственное значение  и собственный вектор , соответствует одной дискриминантной функции. Компоненты собственного вектора  можно использовать в качестве коэффициентов дискриминантной функции. Однако при таком подходе начало координат не будет совпадать с главным центроидом. Для того, чтобы начало координат совпало с главным центроидом нужно нормировать компоненты собственного вектора [4]

. (11)

Нормированные коэффициенты (11) получены по нестандартизованным исходным данным, поэтому они называются нестандартизованными. Нормированные коэффициенты приводят к таким дискриминантным значениям, единицей измерения которых является стандартное квадратичное отклонение. При таком подходе каждая ось в преобразованном пространстве сжимается или растягивается таким образом, что соответствующее дискриминантное значение для данного объекта представляет собой число стандартных отклонений точки от главного центроида.

Стандартизованные коэффициенты можно получить двумя способами:

1. по формуле (11), если исходные данные были приведены к стандартной форме;
2. преобразованием нестандартизованных коэффициентов к стандартизованной форме:

   , (12)

   где сумма внутригрупповых квадратов  й переменной, определяемой по формуле (5).

Стандартизованные коэффициенты полезно применять для уменьшения размерности исходного признакового пространства переменных. Если абсолютная величина коэффициента для данной переменной для всех дискриминантных функций мала, то эту переменную можно исключить, тем самым сократив число переменных.

Структурные коэффициенты определяются коэффициентами взаимной корреляции между отдельными переменными и дискриминантной функцией. Если относительно некоторой переменной абсолютная величина коэффициента велика, то вся информация о дискриминантной функции заключена в этой переменной.

Структурные коэффициенты полезны при классификации групп. Структурный коэффициент можно вычислить и для переменной в пределах отдельно взятой группы. Тогда получаем внутригрупповой структурный коэффициент, которыйвычисляется по формуле:

, (13)

где внутригрупповой структурный коэффициент для i–ой переменной и j–ой функции;  — внутригрупповые структурные коэффициенты корреляции между переменными i и k;  — стандартизованные коэффициенты канонической функции для переменной k и функции j.

Структурные коэффициенты по своей информативности несколько отличаются от стандартизованных коэффициентов. Стандартизованные коэффициенты показывают вклад переменных в значение дискриминантной функции. Если две переменные сильно коррелированы, то их стандартизованные коэффициенты могут быть меньше по сравнению с теми случаями, когда используется только одна из этих переменных. Такое распределение величины стандартизованного коэффициента объясняется тем, что при их вычислении учитывается влияние всех переменных.Структурные же коэффициенты являются парными корреляциями и на них не влияют взаимные зависимости прочих переменных.

Общее число дискриминантных функций не превышает числа дискриминантных переменных и, по крайней мере, на 1 меньше числа групп. Степень разделения выборочных групп зависит от величины собственных чисел: чем больше собственное число, тем сильнее разделение. Наибольшей разделительной способностью обладает первая дискриминантная функция, соответствующая наибольшему собственному числу , вторая обеспечивает максимальное различение после первой и т.д. Различительную способность i–ой функции оценивают по относительной величине в процентах собственного числа  от суммы всех .

Коэффициент канонической корреляции. Другой характеристикой, позволяющей оценить полезность дискриминантной функции является коэффициент канонической корреляции . Каноническая корреляция является мерой связи между двумя множествами переменных. Максимальная величина этого коэффициента равна 1. Будем считать, что группы составляют одно множество, а другое множество образуют дискриминантные переменные. Коэффициент канонической корреляции для i–ой дискриминантной функции определяется формулой:

. (14)

Чем больше величина , тем лучше разделительная способность дискриминантной функции.

Остаточная дискриминация.Так как дискриминантные функции находятся по выборочным данным, они нуждаются в проверке статистической значимости. Дискриминантные функции представляются аналогично главным компонентам. Поэтому для проверки этой значимости можно воспользоваться критерием, аналогичным дисперсионному критерию в методе главных компонент. Этот критерий оценивает остаточную дискриминантную способность, под которой понимается способность различать группы, если при этом исключить информацию, полученную с помощью ранее вычисленных функций. Если остаточная дискриминация мала, то не имеет смысла дальнейшее вычисление очередной дискриминантной функции. Полученная статистика носит название "" и вычисляется по формуле:

, (15)

где k — число вычисленных функций. Чем меньше эта статистика, тем значимее соответствующая дискриминантная функция. Величина

(16)

имеет хи–квадрат распределение с  степенями свободы.

Вычисления проводим в следующем порядке:

1.  Находим значение критерия  при k=0. Значимость критерия подтверждает существование различий между группами. Кроме того, это доказывает, что первая дискриминантная функция значима и имеет смысл ее вычислять.
2.  Определяем первую дискриминантную функцию и проверяем значимость критерия при k=1. Если критерий значим, то вычисляем вторую дискриминантную функцию и продолжаем процесс до тех пор, пока не будет исчерпана вся значимая формация.

Классифицирующие функции

До сих пор мы рассматривали получение канонических дискриминантных функций при известной принадлежности объектов к тому или иному классу. Основное внимание уделялось определению числа и значимости этих функций, и использованию их для объяснения различий между классами. Все сказанное относилось к интерпретации результатов ДА. Однако наибольший интерес представляет задача предсказания класса, которому принадлежит некоторый случайно выбранный объект. Эту задачу можно решить, используя информацию, содержащуюся в дискриминантных переменных. Существуют различные способы классификации.

В процедурах классификации могут использоваться как сами дискриминантные переменные, так и канонические дискриминантные функции. В первом случае применяется метод максимизации различий между классами для получения функции классификации, различие же классов на значимость не проверяется и, следовательно, дискриминантный анализ не проводится. Во втором случае для классификации используются непосредственно дискриминантные функции и проводится более глубокий анализ.

Рассмотрим случай отнесения случайно выбранного объекта  к одной из групп . Пусть плотность распределения х в  и априорная вероятность того, что вектор х принадлежит к группе . Предполагается, что сумма априорных вероятностей  равна 1.

Определим условную вероятность получения некоторого вектора х, если известно, что объект принадлежит к группе . Обозначим через  условную вероятность принадлежности объекта к группе  при заданном х. Величины  и  называются апостериорными вероятностями. Различие между априорными и апостериорными вероятностями заключается в следующем. Априорная вероятность  равна вероятности принадлежности объекта к данной группе  до получения вектора наблюдений х. Апостериорная вероятность  определяет вероятность принадлежности объекта к группе  только после анализа вектора наблюдений х этого объекта.

Из теоремы Байеса получаем

. (17)

Выражение (17) справедливо для любого распределения вектора х. Байесовская процедура минимизирует ожидаемую вероятность ошибочной классификации

.

Так, например, для двух групп получим:

.

Эта величина является вероятностью того, что объект, принадлежащий к группе , ошибочно классифицируется, как принадлежащий , или, наоборот, объект из  ошибочно относится к .

Если х имеет p–мерный нормальный закон распределения , то вероятности  можно заменить соответственно на плотности распределений . В результате получим:

. (18)

Байесовская процедура классификации состоит в том, что вектор наблюдений х относится к группе , если  имеет наибольшее значение.

Можно показать, что байесовская процедура эквивалентна отнесению вектора х к группе , если оценочная функция

(19)

является максимальной. Подставим в оценочную функцию (19) формулу нормального закона распределения

.

Удаляя общую константу  и логарифмируя, получим:

. (20)

Преобразуем выражение (20)

>и, удалив постоянную , получим

.

Заменим векторы средних и ковариационную матрицу их оценками  и . Тогда получим классифицирующую функцию.

Введем обозначения

и , ,

где и — коэффициенты k–ой классифицирующей функции i–го объекта (простой дискриминантной функции Фишера)

. (22)

Объект  относится к классу, у которого значение  оказывается наибольшим. Коэффициенты классифицирующих функций удобнее вычислять по скалярным выражениям

, (23)

где коэффициент для переменной i в выражении, соответствующему классу k, обратный элемент внутригрупповой матрицы сумм попарных произведений W. Постоянный член находится по формуле

. (24)

Функции, определяемые соотношением (22), называются "простыми классифицирующими функциями" потому, что они предполагают лишь равенство групповых ковариационных матриц и не требуют других дополнительных свойств.

Выбор функций расстояния между объектами для классификации является наиболее очевидным способом введения меры сходства для векторов объектов, которые интерпретируются как точки в евклидовом пространстве. В качестве меры сходства можно использовать евклидово расстояние между объектами. Чем меньше расстояние между объектами, тем больше сходство. Однако в тех случаях, когда переменные коррелированы, измерены в разных единицах и имеют различные стандартные отклонения, трудно четко определить понятие "расстояния". В этом случае полезнее применить не евклидовое расстояние, а выборочное расстояние Махаланобиса

(25)

или в матричной записи

, (25^')

где х представляет объект с р переменными, –вектор средних для переменных k–ой группы объектов. Если вместо  использовать оценку внутригрупповой ковариационной матрицы , то получим стандартную запись выборочного расстояния Маханалобиса

. (26)

При использовании функции расстояния, объект относят к той группе, для которой расстояние наименьшее.

Относя объект к ближайшему классу в соответствии с , мы неявно приписываем его к тому классу, для которого он имеет наибольшую вероятность принадлежности . Если предположить, что любой объект должен принадлежать одной из групп, то можно вычислить вероятность его принадлежности для любой из групп

. (27)

Объект принадлежит к той группе, для которой апостериорная вероятность  максимальна, что эквивалентно использованию наименьшего расстояния.

До сих пор при классификации по  предполагалось, что априорные вероятности появления групп одинаковы. Для учета априорных вероятностей нужно модифицировать расстояние , вычитая из выражений (32) — (34) удвоенную величину натурального логарифма от априорной вероятности . Тогда, вместо выборочного расстояния Махаланобиса (34), получим

. (28)

Это изменение расстояния математически идентично умножению величин  на априорную вероятность группы . Формулу (28) можно получить, умножив правые и левые части выражения (20) на два. Тогда после замены векторов средних и ковариационной матрицы их оценками имеем

.

Отметим, тот факт, что априорные вероятности оказывают наибольшее влияние при перекрытии групп и, следовательно, многие объекты с большой вероятностью могут принадлежать ко многим группам. Если группы сильно различаются, то учет априорных вероятностей практически не влияет на результат классификации, поскольку между классами будет находиться очень мало объектов.

V–статистика Рао. В некоторых работах для классификации используется обобщенное расстояние Махаланобиса V — обобщение величины . Эта мера, известная как V–статистика Рао, измеряет расстояния от каждого центроида группы до главного центроида с весами, пропорциональными объему выборки соответствующей группы. Она применима при любом количестве классов и может быть использована для проверки гипотезы . Если гипотеза  верна, а объемы выборок  стремятся к , то распределение величины V стремится к  с  степенями свободы. Если наблюдаемая величина , то гипотеза  отвергается. V–статистика вычисляется по формуле

. (29)

Матричное выражение оценки V имеет вид

. (30)

Отметим, что при включении или исключении переменных V–статистика имеет распределение хи–квадрат с числом степеней свободы, равным , умноженное на число переменных, включенных (исключенных) на этом шаге. Если изменение статистики не значимо, то переменную можно не включать. Если после включения новой переменной V–статистика оказывается отрицательной, то это означает, что включенная переменная ухудшает разделение центроидов.

В дискриминантном анализе процедура классификации используется для определения принадлежности к той или иной группе случайно выбранных объектов, которые не были включены при выводе дискриминантной и классифицирующих функций. Для проверки точности классификации применим классифицирующие функции к тем объектам, по которым они были получены. По доле правильно классифицированных объектов можно оценить точность процедуры классификации. Результаты такой классификации представляют в виде классификационной матрицы.

Рассмотрим пример классификационной матрицы, приведенной в таблице 1.

В первой группе точно предсказаны из 10 объектов 9, что составляет 90%, один объект отнесен к 4–й группе. Во второй группе правильно предсказаны 80% объектов, один объект (20%) отнесен к третьей группе. В третьей группе процент правильного предсказания самый низкий и составляет 68,5%, причем из 54 объектов 8 отнесены к первой группе, 4 — ко второй и 5 — к четвертой группе. В четвертой группе правильно предсказаны 84,6%, по одному объекту отнесено к первой и третьей группам.

Процент правильной классификации объектов является дополнительной мерой различий между группами и ее можно считать наиболее подходящей мерой дискриминации. Следует отметить, что величина процентного содержания пригодна для суждения о правильном предсказании только тогда, когда распределение объектов по группам производилось случайно. Например, для двух групп при случайной классификации можно правильно предсказать 50%, а для четырех групп эта величина составляет 25%. Поэтому если для двух групп имеем 60% правильного предсказания, то нужно считать эту величину слишком малой, тогда как для четырех групп эта величина говорит о хорошей разделительной способности.

Пример. Больные гипертиреозом (увеличение щитовидной железы) общим числом 23 человека были разделены на три группы:

• Группа 1. Лечение оказалось успешным; проведенное через большой промежуток времени клиническое обследование показало, что пациент здоров.
• Группа 2. Лечение безуспешно, т.е. состояние больного осталось без изменения.
• Группа 3. Исход лечения успешен, но в дальнейшем возможен рецидив.

По результатам обследования 23 пациентов имеются следующие измерения:

• y6 — йод, регистрируемый через 3 часа после принятия испытательной дозы;
• y9 — йод, регистрируемый через 48 часов после принятия испытательной дозы;
• y10 — содержание в крови белковосвязанного йода (РВ^131J) через 48 часов.

Конкретные результаты приведены в таблице 2.

По матрице исходных данных находятся средниеи стандартные отклонения дискриминантных переменных (таблицы 3 и 4), общая T и внутригрупповые W матрицы сумм квадратов и перекрестных произведений).

Таблица 3 — Средние дискриминантных переменных

Группы	Y6	Y9	Y10	Кол–во
1 ()	31,1375	41,0500	0,2456	16
2 ()	68,3500	54,5000	1,5525	4
3 ()	29,2333	48,2000	0,1067	3
Все группы ()	37,3609	44,3217	0,4548	23

Таблица 4 — Стандартные отклонения 

Группы	Y6	Y9	Y10	Кол–во
1.	16,2739	20,4760	0,1237	16
2.	8,5656	9,5394	0,8551	4
3.	4,б608	5,8924	0,1060	3
Все группы				23

Если разделить каждый элемент T на (), а каждый элемент W — на (), то получим ковариационные матрицы. Для оценки меры связи между дискриминантными переменными матрицы T и W преобразованы в корреляционные матрицы, которые приведены в таблицах 7 и 8. Элементы этих матриц найдены по формулам

и.

Из общей корреляционной матрицы видно, что переменные некоррелированы на уровне 0.01. Отсюда следует, что ни одна переменная не может быть предсказана по значению, соответствующему другой переменной.

Для измерения меры разброса наблюдений внутри классов используется внутригрупповая корреляционная матрица, которая приведена в таблице 8. Эта матрица не совпадает с общей корреляционной матрицей. Из таблицы видно, что многие коэффициенты отличаются от значений, приведенных в таблице 7. Отмечается значимая корреляция переменной IGM со всеми остальными переменными на уровне 0,05.

Из таблиц 5 и 6 видно, что большая часть элементов матрицы W меньше соответствующих элементов матрицы T. Разница этих матриц  определяет межгрупповую сумму квадратов отклонений и попарных произведений. Эта матрица приведена в таблице 9.

Для нахождения коэффициентов канонической дискриминантной функции решаем задачу (2) в терминах собственных чисел и векторов, которая в матричной записи имеет вид (10). Систему уравнений (10) решаем с помощью разложения Холецкого матрицы = , .

Наибольшее собственное значение для системы равно и , которым соответствуют собственные векторы и . Положив , получаем коэффициенты канонической дискриминантной функции  и .

При использовании коэффициентов b начало координат не будет совпадать с главным центроидом. Для того, чтобы начало координат совпало с главным центроидом нужно нормировать компоненты вектора b, используя формулы (11). Для оценки относительного вклада каждой переменной в значение дискриминантной функции вычислим стандартизованные дискриминантные коэффициенты по формуле (12). Результаты вычислений приведены в таблице 10 и таблице 11. Из таблице 11 видно, что две наиболее значимо коррелированные переменные Y6 и Y9 имеют примерно одинаковые стандартизованные коэффициенты. Значения нестандартизованной канонической функции для каждого пациента сведены в таблице 16. Координаты центроидов первой, второй и третьей групп соответственно равны:

.

Для определения взаимной зависимости отдельной переменной и дискриминантной функции рассмотрим внутригрупповые структурные коэффициенты, значения которых находим по формуле (13). Результаты вычислений представлены в таблице 12.

Переменные Y6 и Y9 имеют небольшие структурные коэффициенты, но у них относительно большие стандартизованные коэффицинты. Это объясняется значимой корреляцией переменной Y6 с другими переменными и может оказаться, что вклад переменных Y6 и Y9 в дискриминантые значения невелик. Для оценки реальной полезности канонической дискриминантной функции вычисляем по формулам (14) — (16) коэффициент канонической корреляции, Λ–статистику Уилкса, статистику хи–квадрат, уровень значимости. Результаты вычислений приведены в таблице 13.

Данные таблицы указывают на хорошую дискриминацию групп: большая величина канонической корреляции соответствует тесной связи дискриминантной функции с группами; малая величина Λ–статистики Уилкса означает, что четыре используемых переменных эффективно участвуют в различении групп и, наконец, статистика χ–квадрат значима с уровнем 1,6⋅10^-8.

Процедура классификации. Процедуры классификации могут использовать канонические дискриминантные функции или сами дискриминантные переменные. Для классификации с помощью дискриминантных переменных коэффициенты классифицирующей функции вычисляем по формуле (22). Результаты вычислений приведены в таблице 14. Значения классифицирующей функции для каждого больного вычислены по формуле (21), результаты классификации в виде классификационной матрицы представлены в таблице 15. Так как процент правильной классификации составляет 100%, то таблицу классифицирующих функций для отдельных пациентов можно не представлять. Результаты классификации с помощью расстояния Махаланобиса (формулы (25), (26)) и апостериорной вероятности принадлежности к группе в предположении нормальности распределения (формула 19) приведены в таблице 15.

1. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. — М.: Финансы и статистика, 1989. — 607 с.
2. Афифи А., Эйзенс С. Статистический анализ. Подход с использованием ЭВМ. Пер. с англ. — М.:Мир,1982. — 488с.
3. Болч Б., Хуань К.Дж. Многомерные статистические методы для экономики: Пер.с англ. — М.: Статистика, 1979. — 317 с.
4. Каримов Р.Н. Обработка экспериментальной информации. Уч. Пособие. Ч. 3. Многомерный анализ. СГТУ, Саратов, 2000. — 108с.
5. Кендалл М.Дж., Стьюарт А. Многомерный статистический анализ и временные ряды: Пер. с англ . — М.:Наука. Гл. ред. физ.–мат. лит., 1976. — 736 с.
6. Статистические методы для ЭВМ. Пер.с англ. — М.: Наука, Гл. ред. физ.–мат. лит., 1986. — 464 с.
7. Факторный, дискриминантный и кластерный анализ: Пер. с англ., /Джон Ким, Ч.У.Мьюллер и др. — М.: Финансы и статистика, 1989. — 215с.

Каримов Р.Н. Основы дискриминантного анализа. Учебно–методическое пособие. — Саратов: СГТУ, 2002. — 108 с.: ил.