Переходного периода

Модели авторегрессии 2-го порядка  – AR(2) (процессы Юла). Эта 
модель,  как  и  AR(1),  представляет  собой  частный  случай  авторегрессион-
ного  процесса,  когда  все  коэффициенты 

j
  в  правой  части  (П2.14)  кроме 
первых  двух,  равны  нулю.  Соответственно,  она  может  быть  определена 
выражением 

t
 = 

1

t

1
 + 

2

t

2
 + 

t
, 
(П2.22) 
где последовательность 

1
, 

2
,… образует белый шум. 
Условия  стационарности  ряда  (П2.22)  (необходимые  и  достаточные) 
определяются как: 







.
1
,
2
1
2
1



 
В рамках общей теории моделей те же самые условия стационарности 
получаются из требования, чтобы все корни соответствующего характери-
стического  уравнения  лежали  бы  вне  единичного  круга.  Характеристиче-

 
 
192 
ское  уравнение  для  модели  авторегрессии  2-го  порядка  имеет  вид: 
.
0
1
2
2
1



z
z


 
Автокорреляционная функция процесса Юла  подсчитывается следую-
щим образом. Два первых значения r(1) и r(2) определены соотношениями  
 
 
,
1
2
,
1
1
2
2
1
2
2
1










r
r
 
а  значения    для  r(

), 

  =  3,  4,…  вычисляются  с  помощью  рекуррентного 
соотношения  
r(

) = 

1
r(

 

 1) + 

2
r(

 

 2). 
Частная  автокорреляционная  функция  временного  ряда,  сгенериро-
ванного  моделью  авторегрессии  2-го  порядка,  обладает  следующим  отли-
чительным свойством: 
r
част
(

) = 0
 
 при всех 

 = 3, 4,… 
Спектральная плотность 
 

~
p
 процесса Юла может быть вычислена 
с помощью формулы: 
 

 



.
2
1
~
0
,
~
4
cos
2
~
2
cos
1
2
1
2
~
2
2
1
2
2
2
1
2
0




















p
 
Идентификация  модели  авторегрессии  2-го  порядка  основана  на  со-
отношениях,  связывающих  между  собой  неизвестные  параметры  модели 

1
, 

2
  и 
2
0

  со  значениями  различных  моментов  «наблюдаемого»  времен-
ного ряда 

t
. 
По значениям 
t

ˆ  вычисляются оценки 
   
0
ˆ
,
0
ˆ
r

 и 
 
0
ˆr
, соответствен-
но,  дисперсии  D

t
  и  автокорреляций  r(1)  и  r(2).  Это  делается  с  помощью 
соотношений (П2.2) и (П2.3): 
 


 



 
2
,
1
,
0
ˆ
ˆ
ˆ
ˆ
,
ˆ
1
0
ˆ
1
1
1
2













k
k
T
k
T
t
k
t
t
k
T
T
t
t









 
После этого можно получить оценки 
1
ˆ

 и 
2
ˆ

 из соотношений 

 
 
193 
 
 


 
 
 
 
.
1
ˆ
1
1
ˆ
2
ˆ
ˆ
,
1
ˆ
1
2
ˆ
1
1
ˆ
ˆ
2
2
2
2
1
r
r
r
r
r
r








 
Наконец, оценку параметра 
2
0

 получаем с помощью 
 




.
ˆ
ˆ
1
ˆ
1
ˆ
1
0
ˆ
ˆ
2
1
2
2
2
2
2
0











 
Модели авторегрессии p-го порядка – AR(p) (p 

 3). Эти модели, об-
разуя  подмножество  в  классе  общих  линейных  моделей,  сами  составляют 
достаточно  широкий  класс  моделей.  Если  в  общей  линейной  модели 
(П2.14) полагать все параметры 

j
, кроме первых p коэффициентов, равны-
ми нулю, то мы приходим к определению AR(p)-модели: 
,
1
t
p
j
j
t
j
t









 
(П2.23) 
где последовательность случайных величин 

1
, 

2
,… образует белый шум. 
Условия  стационарности  процесса,  генерируемого  моделью  (П2.23), 
также формулируются в терминах корней его характеристического уравне-
ния 
1 

 

1
z 

 

2
z
2
 

…

 

p
z
p
 = 0. 
Для  стационарности  процесса  необходимо  и  достаточно,  чтобы  все 
корни  характеристического  уравнения  лежали  бы  вне  единичного  круга, 
т.е. превосходили бы по модулю единицу. 
Автокорреляционная функция процесса (П2.23) может быть вычислена 
с помощью рекуррентного соотношения по первым p ее значениям r(1),…, 
r(p). Это соотношение имеет вид: 
 r (

) = 

1
r(

 

 1) + 

2
r(

 

 2) +…+ 

p
r(

 

 p), 

 = p + 1, p + 2,  (П2.24) 
Частная  автокорреляционная  функция  процесса  (П2.23)  будет  иметь 
ненулевые значения лишь при 

 

  p;  все  значения  r
част
(p)  при 

  >  p  будут 
нулевыми (см., например, [Бокс, Дженкинс (1974)]). Это свойство частной 
автокорреляционной  функции  AR(p)-процесса  используется,  в  частности, 
при подборе порядка  в модели авторегрессии для конкретных анализируе-
мых  временных  рядов.  Если,  например,  все  частные  коэффициенты  авто-
корреляции, начиная с порядка k, статистически незначимо отличаются от 
нуля, то порядок модели авторегрессии естественно определить равным p = 
k 

 1. 
Спектральная плотность процесса авторегрессии  p-го порядка опре-
деляется с помощью формулы: 

 
 
194 
 
.
2
1
~
0
,
...
1
2
~
2
~
2
~
4
2
~
2
1
2
0






















p
i
p
i
i
e
e
e
p
 
Идентификация  модели  авторегрессии  p-го  порядка  основана  на  со-
отношениях, связывающих между собой неизвестные параметры модели и 
автокорреляции  исследуемого  временного  ряда.  Для  вывода  этих  соотно-
шений  последовательно  подставляются  в  (П2.24)  значения 

  =  1,  2,…,  p. 
Получается система линейных уравнений относительно 

1
, 

2
,…, 

p
: 
 
 


 
 


 



























.
...
2
1
.....
..........
..........
..........
..........
..........
,
2
...
1
2
,
1
...
1
1
2
1
2
1
2
1
p
p
p
p
r
p
r
p
r
p
r
r
r
p
r
r
r









 
(П2.25) 
называемая  уравнениями  Юла–Уокера  [Yule  (1927)],  [Walker  (1931)]. 
Оценки 
k

ˆ   для  параметров 

k
  получим,  заменив  теоретические  значения 
автокорреляций r(k) их оценками 
 
k
rˆ
 и решив полученную таким образом 
систему уравнений. 
Оценка параметра 
2
0

 получается из соотношения 
 
 
 
 


.
...
2
1
1
0
2
1
2
0
p
r
r
r
p










 
заменой всех участвующих в правой части величин их оценками. 
П 2 . 3 . 2 .   М о д е л и   с к о л ь з я щ е г о   с р е д н е г о   п о р я д к а    
q   ( М А ( q ) - м о д е л и )  
Рассмотрим  частный  случай  общего  линейного  процесса  (П2.13),  ко-
гда только первые q из весовых коэффициентов 

j
 ненулевые. В это случае 
процесс имеет вид 

t
 = 

t
 

 

1

t

1
 

 

2

t

2
 

…

 

q

t

q
, 
(П2.26) 
где  символы 


1
,…, 

q
  используются  для  обозначения  конечного  набора 
параметров 

,  участвующих  в  (П2.13).  Процесс  (П2.26)  называется  моде-
лью скользящего среднего порядка q (МА(q)).  
Двойственность  в  представлении  AR-  и  МА-моделей  и  понятие 
обратимости МА-модели. Из (П2.13) и (П2.14) видно, что один и тот же 
общий линейный процесс может быть представлен либо в виде AR-модели 
бесконечного порядка, либо в виде МА-модели бесконечного порядка.  
Соотношение (П2.26) может быть переписано в виде  

 
 
195 

t
 =

t
 + 

1

t

1
 + 

2

t

2
 +…+ 

q

t

q
. 
Откуда 

t
 = 

t
 

 

1

t

1
 

 

2

t

2
 

…, 
(П2.27) 
где коэффициенты 

j
 (j = 1, 2,…) определенным образом выражаются через 
параметры 

1
,…, 

q
. Соотношение (П2.27) может быть записано в виде мо-
дели авторегрессии бесконечного порядка (т.е. в виде обращенного разло-
жения) 
.
1
t
j
j
t
j
t










 
Известно (см., например, [Бокс, Дженкинс, (1974)]), что условие обра-
тимости  МА(q)-модели  (т.е.  условие сходимости ряда 



1
j
j

)  формулиру-
ется  в  терминах  характеристического  уравнения  модели  (П2.26)  следую-
щим образом: 
Все  корни  характеристического  уравнения 
0
...
1
2
2
1





q
q
z
z
z



 
должны лежать вне единичного круга, т.е. |z
j
| > 1 для всех j = 1, 2,…, q. 
Основные  характеристики  процесса  МА(q).  Справедливо  следую-
щее выражение для ковариаций: 
 


























.
0
;
1
,
...
;
0
,
...
1
2
2
1
1
2
0
2
2
2
2
1
2
0
q
q
q
q
q





















 
(П2.28) 
Автокорреляционная  функция  процесса  МА(q)  получается  непосред-
ственно из (П2.28): 
 



















.
,
0
;
,...,
1
,
...
1
...
2
2
2
2
1
2
2
1
1
q
q
r
q
q
q

















 
(П2.29) 
Таким  образом,  автокорреляционная  функция  r(

)  процесса  МА(q) 
равна нулю для всех значений 

, больших порядка процесса q. Это важное 
свойство используется при подборе порядка МА(q)-модели по эксперимен-
тальным данным. 
Спектральная  плотность  процесса  МА(q)  может  быть  вычислена  с 
помощью соотношения: 
 
.
2
1
~
0
,
...
1
2
~
2
~
2
~
4
2
~
2
1
2
0






















q
i
q
i
i
e
e
e
p
 

 
 
196 
Идентификация  модели  МА(q)  производится  на  базе  соотношений 
(П2.29), а именно:   1) по значениям 
 
t
f
x
t
t
ˆ
ˆ



 с помощью формулы 
 





,
,...,
2
,
1
,
ˆ
1
ˆ
ˆ
1
ˆ
1
2
1
q
T
T
r
T
t
t
T
t
t
t























 
подсчитываются  значения 
 
 
q
r
r
ˆ
,...,
1
ˆ
;  2)  в  соотношения  (П2.29)  последо-
вательно  подставляются  значения 

  =  1,…,  q  с  заменой  в  левой  их  части 
величин r(

) полученными ранее оценками 
 

rˆ
; 3) полученная таким обра-
зом система из q уравнений разрешается относительно неизвестных значе-
ний 

1
,…, 

q
; решения этой системы 
q


ˆ
,...,
ˆ
1
  и  дадут  оценки  неизвестных 
параметров модели; 4) оценка параметра 
2
0

 может быть получена с помо-
щью  первого  из  соотношений  (П2.28)  подстановкой  в  него  вместо 

(0), 

1
,…, 

q
 их оценок. 
Заметим,  что  в  отличие  от  системы  уравнений  Юла

Уокера  (П2.25), 
уравнения для определения оценок параметров МА(q)-модели нелинейны. 
Поэтому эти уравнения приходится решать с помощью итерационных про-
цедур (см., например, [Бокс, Дженкинс (1974)]). 
Взаимосвязь  процессов  AR(q)  и  МА(q).  Сделаем  ряд  замечаний  о 
взаимосвязях между процессами авторегрессии и скользящего среднего. 
1.  Для  конечного  процесса  авторегрессии  порядка  p 

t
  может  быть  пред-
ставлено  как  конечная  взвешенная  сумма  предшествующих 

,  или 

t
 
может быть представлено как бесконечная сумма предшествующих 

. В 
то  же  время,  в  конечном  процессе  скользящего  среднего  порядка  q 

t
 
может быть представлено как конечная взвешенная сумма предшеству-
ющих 

 или 

t
 

 как бесконечная взвешенная сумма предшествующих 

. 
2.  Конечный процесс МА имеет автокорреляционную функцию, обращаю-
щуюся в нуль после некоторой точки, но так как он эквивалентен беско-
нечному процессу AR, его частная автокорреляционная функция беско-
нечно  протяженная.  Главную  роль  в  ней  играют  затухающие 
экспоненты  и  (или)  затухающие  синусоиды.  И  наоборот,  процесс  AR 
имеет  частную  автокорреляционную  функцию,  обращающуюся  в  нуль 
после некоторой точки, но его автокорреляционная функция имеет бес-
конечную  протяженность  и  состоит  из  совокупности  затухающих  экс-
понент и или затухающих синусоид. 

 
 
197 
3.  Параметры  процесса  авторегрессии  конечного  порядка  не  должны  удо-
влетворять каким-нибудь условиям для того, чтобы процесс был стаци-
онарным.  Однако  для  того  чтобы  процесс  МА  был  обратимым,  корни 
его  характеристического  уравнения  должны  лежать  вне  единичного 
круга. 
4.  Спектр процесса скользящего среднего является обратным к спектру со-
ответствующего процесса авторегрессии. 
П 2 . 3 . 3 .   А в т о р е г р е с с и о н н ы е   м о д е л и   с о   с к о л ь з я щ и м и  
с р е д н и м и   в   о с т а т к а х   ( A R M A ( p ,   q ) - м о д е л и )  
Представление  процесса  типа  МА  в  виде  процесса  авторегрессии 
неэкономично с точки зрения его параметризации. Аналогично процесс AR 
не  может  быть  экономично  представлен  с  помощью  модели  скользящего 
среднего.  Поэтому  для  получения  экономичной  параметризации  иногда 
бывает целесообразно включить в модель как члены, описывающие авторе-
грессию, так и члены, моделирующие остаток в виде скользящего среднего. 
Такие линейные процессы имеют вид 

t
 = 

1

t

1
 +…+ 

p

t

p
 + 

t
 

 

1

t

1
 

…

 

q

t

q
 
(П2.30) 
и  называются  процессами  авторегрессии 

  скользящего  среднего  порядка 
(p, q)(ARMA(p, q)). 
Стационарность  и  обратимость  ARMA(p,  q)-процессов.  Записывая 
процесс (П2.30) в виде 
,
1
qt
p
j
j
t
j
t









 
(П2.31) 
где 
q
t
q
t
t
qt












...
1
1
,  можно  провести  анализ  стационарности 
(П2.31)  по  той  же  схеме,  что  и  для  AR(p)-процессов.  При  этом  различие 
“остатков” 
q t

  и 

е
  никак  не  повлияет  на  выводы,  определяющие  условия 
стационарности процесса авторегрессии. Поэтому процесс (П2.30) является 
стационарным тогда и только тогда, когда все корни характеристического 
уравнения AR(p)-процесса лежат вне единичного круга. 
Аналогично,  обозначив 





p
j
j
t
j
t
pt
1




  и  рассматривая  процесс 
(П2.30) в виде 
q
t
q
t
t
pt












...
1
1
, 

 
 
198 
получаем те же выводы относительно условий обратимости этого процесса, 
что и для процесса МА(q): для обратимости ARMA(p, q)-процесса необхо-
димо  и  достаточно,  чтобы  все  корни  характеристического  уравнения 
МА(q)-процесса лежали бы вне единичного круга. 
Автокорреляционная  функция  анализируется  аналогично,  тому  как  это 
делалось для AR- и МА-процессов, что позволяет сделать следующие выводы. 
1) Из соотношений 

(

) = 

1

(

 

 1) +…+ 

p

(

 

 p) + 


(

) 

 

1


(

 

 1) 

…

 

q


(

 

   

 q), (где 


(k) = E(

t

k

t
) 

 «перекрестная» ковариационная 
функция последовательностей 

t
 и 

t
) для 

 = 0, 1,…, q следует, что ковари-
ации 

(0), 

(1),…, 

(q)  и,  соответственно,  автокорреляции  r(1),…,  r(q)  свя-
заны  определенной  системой  зависимостей  с  q  параметрами  скользящего 
среднего 

1
,…, 

q
 и p параметрами авторегрессии 

1
,…, 

p
. При этом пере-
крестные ковариации 


(

), 


(

 

 1),…, 


(

 

 q) при положительных зна-
чениях сдвига по времени равны нулю, а при отрицательных 

 тоже могут 
быть выражены в терминах параметров 

1
,…, 

p
,

1
,…, 

q
  с помощью сле-
дующего приема: пусть k > 0; тогда 


(

k) = E(

t

k

t
); в произведении 

t

k

t
 с 
помощью  (k  +  1)-кратной  последовательной  подстановки  первого  сомно-
жителя по формуле (П2.30) он заменяется линейной комбинацией 

t

1
, эле-
ментов белого шума 

 и параметров модели, что после применения к полу-
чившемуся  произведению  операции  усреднения  E  дает  выражение, 
зависящее только от параметров модели (поскольку E(

t

1

t
) = 0). 
2) Значения автокорреляционной функции r(

) для 

 

 q + 1 вычисля-
ются  по  рекуррентному  соотношению  r(

)  = 

1
r(

 

  1)  + 

2
r(

 

  2)  +…+ 

p
r(

 

 p) при 

 

 q + 1, которое в точности повторяет аналогичное рекур-
рентное  соотношение  (П2.24)  для  автокорреляционной  функции  процесса 
AR(p).  Это  значит,  что,  начиная  с 

  =  q  + 1, автокорреляционная  функция 
процесса  ARMA(p,  q)  ведет  себя  так же, как и автокорреляционная функ-
ция  процесса  AR(p),  т.е.  она  будет  состоять  из  совокупности  затухающих 
экспонент  и  (или)  затухающих  синусоид,  и  ее  свойства  определяются  ко-
эффициентами 

1
,…, 

p
 и начальными значениями r(1),…, r(p). 
Частная автокорреляционная функция процесса ARMA(p, q) при боль-
ших 

 ведет себя как частная автокорреляционная функция МА(q)-процесса. 
Это  значит,  что  в  ней  преобладают  члены  типа  затухающих  экспонент  и 
(или) затухающих синусоид (соотношение между теми и другими зависит от 
порядка скользящего среднего q и значений параметров процесса). 
Спектральная плотность  процесса ARMA(p, q) может быть вычисле-
на с помощью соотношения: 

 
 
199 
 
.
2
1
~
0
,
...
1
...
1
2
~
2
~
2
~
4
2
~
2
1
2
~
2
~
4
2
~
2
1
2
0






































p
i
p
i
i
q
i
q
i
i
e
e
e
e
e
e
p
 
Идентификация  процесса  ARMA(p,  q)  базируется  (так  же  как  и  AR-и 
МА-моделях)  на  статистическом  оценивании  параметров  модели  с  помо-
щью  метода моментов. Процедура оценивания параметров 

k
  (k  =  1,  2,…, 
p), 

j
 (j = 1, 2,…, q)и 
2
0

 разбивается на два этапа. На 1-м этапе получаются 
оценки параметров 

k
, на 2-м 

 оценки параметров 

j
 и 
2
0

. 
1-й  этап.  Параметры  автокорреляционной  составляющей  модели 
(П2.30) удовлетворяют системе линейных уравнений: 


 








 








 



































.
0
...
2
1
....
..........
..........
..........
..........
..........
..........
..........
..........
,
0
2
...
1
2
,
0
1
...
1
1
2
1
2
1
2
1
q
r
p
q
r
p
q
r
p
q
r
p
q
r
q
r
q
r
q
r
p
q
r
q
r
q
r
q
r
p
p
p









 
(П2.32) 
Подставляя в (П2.32) вместо r(k) их выборочные значения и решая по-
лучившуюся  систему  относительно 

j
  (j  =  1,…,  p),  получаем  оценки 
p


ˆ
,...,
ˆ
1
. 
2-й этап. Подставляя полученные оценки 
p


ˆ
,...,
ˆ
1
 в (П2.30) получаем 
набор из q + 1 соотношений: 
,
ˆ
1
1









q
j
j
t
j
t
p
k
k
t
k
t






 
,
ˆ
1
1
1
1
1
1













q
j
j
t
j
t
p
k
k
t
k
t






 
.
ˆ
1
1













q
j
j
q
t
j
q
t
p
k
k
q
t
k
q
t






 
Эта  система  позволяет  получить  нелинейные  зависимости,  связываю-
щие искомые параметры 
2
0

, 

1
,…, 

q
 с автоковариациями и построенными 
на 1-м этапе оценками.