При несоблюдении основных предпосылок метода наименьших квадратов (МНК) приходится корректировать модель. Если дисперсия возмущения зависит от значений факторов, то подобные регрессионные модели называются моделями с гетероскедастичностью возмущений, при которых оценки её параметров традиционным МНК неэффективны. Рассчитанные значения стандартных отклонений ошибок коэффициентов уравнения регрессии могут быть заниженными, а при проверке статистической значимости коэффициентов может быть ошибочно принято решение об их значимом отличии от нуля, тогда как на самом деле это не так.

При наличии автокорреляции возмущений МНК дает несмещенные и состоятельные оценки параметров модели, которые, однако, неэффективны. По сравнению с гетероскедастичностью возмущений автокорреляция приводит, наоборот, к завышению стандартных ошибок коэффициентов уравнения регрессии. На основе таких результатов может быть сделан ошибочный вывод о несущественном влиянии исследуемого фактора на зависимую переменную, в то время как на самом деле влияние фактора на нее значимо.

Ковариации и дисперсии возмущений могут быть произвольными, т.е. задаваться некоторой положительно определенной ковариационной матрицей Ω.

µ(ε*ε^t)=Ω. (1)

Модель множественной регрессии, для которой выполняется условие (1), называется обобщенной линейной моделью множественной регрессии. Для получения несмещенных и эффективных оценок параметров такой модели применяют обобщенный МНК (ОМНК), получаемый на основе минимизации функции:

e^TΩ^-1e → min. (2)

Вектор оценок b^* параметров обобщенной модели определяется как [1].

b^*=(X^TΩ^-1X)X^TΩ^-1Y. (3)

На практике ковариационная матрица вектора возмущений Ω, как правило, неизвестна, и для реализации ОМНК приходится вводить дополнительные условия на структуру матрицы Ω. Рассмотрим применение ОМНК для корректировки гетероскедастичности возмущений. Пусть строится линейная регрессионная модель. Будем считать, что модель гетероскедастична, т.е. дисперсии возмущений σ²(ε_i)(i=1,2,...,n) не равны между собой, а сами возмущения некоррелированны и их математические ожидания равны нулю. Это означает, что ковариационная матрица вектора возмущений Ω будет диагональной. Для оценки параметров такой модели используется взвешенный МНК (ВМНК), являющийся частным случаем обобщенного МНК. Условие взвешенного метода наименьших квадратов имеет вид

∑[e²_i/σ(ε_i)] → min. (4)

Вектор b^* оценок параметров модели определяется по формуле (4). На практике среднеквадратические отклонения возмущений σ(ε_i), как правило, неизвестны. Поэтому для применения ВМНК, необходимо сделать предположение о значениях σ(ε_i). Часто считают среднеквадратическое отклонение возмущений пропорциональным значению одного из факторов, что делает выборочную совокупность неоднородной.

Если имеется автокорреляция возмущений, то для оценки параметров модели используют другой частный случай ОМНК. Основным недостатком данной модели является предположение о несимметричности МНК, т.е. предполагается, что ошибки возможны исключительно в матрице значений факторов X. Для симметричной модели (в предположении, что ошибки возможны как в матрице значений факторов X, так и в векторе значений результата Y) применяется общий МНК. И модель можно представить в следующем виде:

y_i+Δ*y_i = ∑*ξ_k*b_k(x_i+Δ*x_i). (5)

Решение задачи общего МНК приведет к получению лучших результатов, если предположение о наличии ошибок не только в матрице X , но и в векторе Y окажется верно. Однако в случае наличии гетероскедастичности и автокорреляции возмущений приведет, соответственно, к тому, что оценки параметров модели не будут эффективными и к завышению ошибок коэффициентов уравнения регрессии.

Все достоинства выше перечисленных методов объединяет в себе относительно новая разновидность МНК, а именно полный МНК. Многие модели измерений описаны как нелинейное соотношение между величиной y и множеством L других параметров x = [x⁽¹⁾...x^(L)]^T.

Часто используемая модель зависит от N параметров ξ_k, как показано ниже:

y = ∑*ξ_k*b_k(x) x ∈ R^{Lx1, (6)}

где b_k(·) – N вещественных функций от L переменных, называемых базисом модели. Задача построения регрессии состоит в определении N параметров ξ_k по заданному множеству из M измерений y_i и x_i и величин y и x из (10) (переменные величины обозначены подчеркнутыми, а их оценки, полученные по данным измерения, – неподчеркнутыми). После нахождения параметров модели ξ_k, необходимо оценить неопределенность или точность их оценивания, так как измеренные данные y_i и x_i известны с погрешностями.

Принципиальным отличием рассматриваемой задачи от классического МНК [1] является предположение, что ошибки воздействуют на все M измеренных величин y_i и x_i , даже если рассматривать точную модель (10). Поэтому не будут удовлетворяться точно все M (L + 1) уравнений

y_i = ∑*ξ_k*b_k(x_i), i ∈ 1,...,M. (7)

После введения расстояния δ, определяющего рассогласование между данными и моделью, основанной на метрологическом анализе, получена новая математическая формализация – полный МНК (ПМНК).

Модель измерения (10) ведет к решению противоречивого множества уравнений (5), когда величины y_i и x_i в (10) заменяются измеренными значениями y_i и x_i, полученными при повторных наблюдениях. Уравнение (5) может быть переписано как

{I_M ⊗ ξ^T}*b(x) ≈ y. (8)

Символ ⊗ представляет матричное кронекеровское произведение. Уравнение (7) может быть переписано более в компактной матричной форме

Ξ*a ≈ 0_Mx1, (9)

где Ξ = [I_M⊗ξ^T-I_M] и a = a(m) = [b y]^T. Вектор a выражен как функция вектора измеренных данных m размерности M (L + 1) m=[x y]^T.

Вводя в систему уравнений (5) корректирующие случайные члены Δy_i и Δx_i (возникающие из-за недостоверности измерения) можно свести (5) к следующей непротиворечивой системе уравнений

y_i+Δy_i = ∑ξ_k*b_k(x_i+Δx_i) (10)

или это эквивалентно следующей записи, что следует из (7),

Ξ*a(m+Δm) = 0, Δm = [Δx Δy]^T. (11)

Уравнение (8) допускает следующее приближение первого порядка:

Ξ*{a+D*Δm} = 0, D = da/dm. (12)

Существует несколько возможностей, чтобы определить несоответствие между моделью и данным вектором измерения m, причем каждая из них обычно сводится к различному решению регрессионной задачи. Степень несоответствия измеряется соответствующим расстоянием δ, вводимым в метрическом пространстве данных.

||m||_∑(m) = sqrt(m^T*∑(m)^-1*m), (13)

где ∑(m) – дисперсионная матрица вектора измеренных данных m.

Поскольку согласно (8) Δm является случайной поправкой измеренных данных, необходимой для получения непротиворечивой модели, представляется естественным определить следующую количественную характеристику соответствия модели измеренным данным δ = ||Δm||_∑(m) и вычислить коэффициенты регрессии ξ модели, минимизирующие расстояние δ, с учетом ограничения Ξ*{a+D*Δm}=0_Mx1, то система уравнений (9) будет совместной. Другими словами, проблема построения регрессии требует решения следующей задачи условной оптимизации:

ξ = min||Δm||_∑(m) при условии Ξ * {a+d*Δm} = 0. (14)

Наиболее полным критерием является полный МНК, так как даёт не смещенные состоятельные и эффективные оценки для моделей с наличием гетероскедастичности и автокорреляции возмущений, а также наличием ошибок как в матрице значений факторов X , так и в векторе значений результата Y . Однако стоит заметить, что для использования в моделях, где присутствует гетероскедастичность и автокорреляция возмущений, но нет ошибок в векторе значений результата, больше подходит ОМНК, а при отсутствии гетероскедастичности и автокорреляции возмущений и наличии ошибок в векторе Y и матрице X – ПМНК.

ЛИТЕРАТУРА

1. Линник, Ю.В. Метод наименьших квадратов и основы теории обработки наблюдений / Ю.В. Линник. М.: ГИФМЛ, 1958. 334 с.

Мусатов Михаил Викторович –

магистрант Саратовского государственного технического университета

Львов Алексей Арленович –

доктор технических наук, профессор кафедры «Техническая кибернетика и информатика» Саратовского государственного технического университета