Чтение онлайн

еi– остатки регрессионной модели:

Для линейной модели множественной регрессии несмещённая оценка дисперсии случайной ошибки рассчитывается по формуле:

где k – число оцениваемых параметров модели регрессии.

Оценка матрицы ковариаций случайных ошибок Cov будет являться оценочная матрица ковариаций:

где In – единичная матрица.

Оценка дисперсии случайной ошибки модели регрессии распределена по 2(хи-квадрат) закону распределения с (n-k-1) степенями свободы.

Для доказательства несмещённости оценки дисперсии случайной ошибки модели регрессии необходимо доказать справедливость равенства

Доказательство. Примем без доказательства справедливость следующих равенств:

где G2 – генеральная дисперсия случайной ошибки;

S2 – выборочная дисперсия случайной ошибки;

– выборочная оценка дисперсии случайной ошибки.

Тогда:

т. е.

что и требовалось доказать.

Следовательно, выборочная оценка дисперсии случайной ошибки

является несмещённой оценкой генеральной дисперсии случайной ошибки модели регрессии G2.

При условии извлечения из генеральной совокупности нескольких выборок одинакового объёма n и при одинаковых значениях объясняющих переменных х, наблюдаемые значения зависимой переменной у будут случайным образом колебаться за счёт случайного характера случайной компоненты . Отсюда можно сделать вывод, что будут варьироваться и зависеть от значений переменной у значения оценок коэффициентов регрессии и оценка дисперсии случайной ошибки модели регрессии.

Для иллюстрации данного утверждения докажем зависимость значения МНК-оценки

от величины случайной ошибки .

МНК-оценка коэффициента 1 модели регрессии определяется по формуле:

В связи с тем, что переменная у зависит от случайной компоненты (yi=0+1xi+i), то ковариация между зависимой переменной у и независимой переменной х может быть представлена следующим образом:

Для дальнейших преобразования используются свойства ковариации:

1) ковариация между переменной х и константой С равна нулю: Cov(x,C)=0, C=const;

2) ковариация переменной х с самой собой равна дисперсии этой переменной: Cov(x,x)=G2(x).

Исходя из указанных свойств ковариации, справедливы следующие равенства:

Cov(x,0)=0 (0=const);

Cov(x, 1x)= 1*Cov(x,x)= 1*G2(x).

Следовательно, ковариация между зависимой и независимой переменными Cov(x,y) может быть записана как:

Cov(x,y)= 1G2(x)+Cov(x,).

В результате МНК-оценка коэффициента 1 модели регрессии примет вид:

Таким образом, МНК-оценка

может быть представлена как сумма двух компонент:

1) константы 1, т. е. истинного значения коэффициента;

2) случайной ошибки Cov(x,), вызывающей вариацию коэффициента модели регрессии.

Однако на практике подобное разложение МНК-оценки невозможно, потому что истинные значения коэффициентов модели регрессии и значения случайной ошибки являются неизвестными. Теоретически данное разложение можно использовать при изучении статистических свойств МНК-оценок.

Аналогично доказывается, что МНК-оценка

коэффициента модели регрессии и несмещённая оценка дисперсии случайной ошибки

могут быть представлены как сумма постоянной составляющей (константы) и случайной компоненты, зависящей от ошибки модели регрессии .

Предположим, что методом наименьших квадратов получена оценка

Для того, чтобы данная оценка могла быть принята за оценку параметра

необходимо и достаточно выполнения трёх статистических свойств:

1) свойства несмещённости;

2) свойства состоятельности;

3) свойства эффективности.

Сделаем следующие предположения об отклонениях єi:

1) величина єiявляется случайной переменной;

2) математическое ожидание єiравно нулю: М (єi) = 0;

3) дисперсия є постоянна: D(єi) = D(єi) = s 2 для всех i, j;

4) значения єiнезависимы между собой, следовательно, справедливо следующее выражение:

Если данные предпосылки выполняются, то оценки, найденные с помощью метода наименьших квадратов, обладают свойствами несмещённости, состоятельности и эффективности.

Если третье и четвёртое предположения не выполняются, т. е. дисперсия случайных компонент непостоянна и/или значения є коррелируют друг с другом, то свойства несмещенности и состоятельности сохраняются, но свойство эффективности – нет.

Величина

называется несмещённой оценкой параметра

если её выборочное математическое ожидание равно оцениваемому параметру генеральной совокупности:

Отсюда следует, что

где i – это величина смещения оценки.

Рассмотрим свойство несмещённости МНК-оценок на примере модели парной регрессии.

Необходимо доказать, что оценка