E-qadam: Q(; (k ) )
ni hisoblaymiz, bu yerda
Q( ; (k) ) E (ln L ( ) | Y ).
(2.2.2)
( k ) c
M-qadam:
Q(; (k ) )
uchun keyingi (k 1)
maksimum nuqtani tanlaymiz:
Q( (k 1); (k ) ) Q(; (k ) ).
(2.2.3)
Algoritmning E va M qadamlari
( k )
o`zining statsionar nuqtasiga
erishmaguncha qaytadan amalga oshiriladi. Bu jarayon qachon to`xtatilishini
|| (k1) (k) || ayirma yordamida bilinadi, bu yerda ihtiyoriy 0 son.
Agar
gc ( x; )
zichlik funksiya eksponensial oilaga tegishli bo`lsa:
c
g ( x; ) b( x)exp( c( ) T t( x)) / a( ).
(2.2.4)
EM algoritmining ikkala qadami ham odatda sodda ko`rinishda bo`ladi, bu yerda
t( x)
vektor o`lchami
k 1( k d )
bo`lgan yetarli statistika.
c( )
o`lchami
k 1
vektor funksiya parametrdan olingan.
a( )
va b(x)
skalyar funksiya. Ko`p
o`lchovli normal,Puasson,multinomial taqsimotlar eksponensial oilaga tegishli.
Eksponensial oilaga tegishli zichlik funksiya uchun algoritmning E-qadami:
Q( ; (k) ) E (ln b( X ) | Y ) c( ) T t(k) ln a( ).
(2.2.5)
( k )
Bu yerda
t( k ) E
(t( X ) | Y )
yetarli statistikaning bahosi. M-qadamda
Q(; (k ) )
( k )
funksiyani maksimallashtirish zarur, lekin
E ( k ) (lnb(X ) | Y )
ga bog`liq emas
shuning uchun algoritmning iteratsiyasi soddalashadi: E-qadam:
t( k ) E
(t( X ) | Y ),
(2.2.6)
hisoblanadi.
M-qadam:
ni hisoblanadi.
( k )
(k 1) argmax[c( )T t(k) ln a( )],
(2.2.7)
X ning Y=y dagi shartli zichlik funksiyasini
k(x | y; ) gc (x; ) / g( y; )
ko`rinishida belgilaymiz. U holda to`liq tanlanmaning haqiqatga o`xshashlik funksiyasi logarifmini quyidagicha bo`ladi:
ln Lc ( ) ln gc ( x; ) ln L( ) ln k( x | y; ).
(2.2.8)
E ( k ) ( | Y )
shartli matematik kutilmaning operatorini (2.2.8) tenglamaning
ikkala tomoniga qo`llab
E ( k ) (ln k(X | Y; ) | y),
ni H (; (k ) )
bilan belgilasak, quyidagi ifoda hosil bo`ladi:
Q(; (k ) ) ln L( ) H (; (k ) ).
(2.2.9)
(2.2.9) formuladan quyidagi tenglikni keltirib chiqaramiz:
ln L( (k 1) ) ln L( (k ) ) Q( (k 1); (k ) ) Q( (k ); (k )
H ( (k 1); (k ) H ( (k ); (k ) ).
(2.2.10)
Yensen tengsizligini qo`llab quyidagiga ega bo`lamiz:
H ( ( k 1) ; ( k ) ) H ( ( k ) ; ( k ) ).
Bizga (2.2.3) dan
Q( (k 1); (k ) ) Q(; (k ) ) 0,
ligi ma`lum. Shunday qilib haqiqatga o`xshashlik funksiyasi EM algoritmidan keyin kamaymaydi:
L( (k 1) ) L( (k ) ),
k=0,1,2…. (2.2.11)
2.3-§. I tur senzurlanish modelida Gamma taqsimot nomalum parametrlarni
baholash
(1.2.3) dan ma`lumki gamma taqsimot uchun xi , ln xi
yetarli
statistika bo’ladi. Biz yetarli statistikadan k va ning haqiqatga maksimal o`xshashlik bahosini hisoblashda foydalanamiz.
Agar tanlanma senzurlangan bo`lsa, EM algoritmi bizga haqiqatga maksimal o`xshashlik bahosini oladigan usulni beradi. EM algoritmi bizga to`liq bo`lmagan tanlanmaning haqiqatga o`xshashlik funksiyasini iteratsion ravishda maksimallashtirishimiz mumkin bo`lgan usulni taqdim etadi.
Bu holda biz yetarli statistikani, uning kutilmasini va tanlanmaning senzurlangan nuqtasini baholay olamiz. Bu statistika biz kuzatgan qiymatlarga va yetarli statistikaning kutilmasi parametrlarning hozirgi baholanishiga asoslangan. Bu EM algoritmining E qadami.
E- qadamda hisoblangan yetarli statistikaning baholaridan foydalanib biz parametrning yangi qiymatlarini hisoblashimiz mumkin, huddi (1.2.4) va (1.2.5) larorqali berilganidek bu EM algoritmining M qadamidir. Algoritmning E va M qadamlarini takrorlash orqali k va uchun yaxshiroq bahoga erishamiz.
Gamma taqsimot uchun biz yetarli statistikani va har bir yetarli statistikaning kutilmasini baholashimiz kerak. Bu statistika kuzatilgan qiymatlarga asoslangan.
Avvalambor, biz Gamma taqsimotini o`ng tomondan c bo`yicha
senzurlangan deb qaraylik. Bu holda
( y1,..., ym ,..., yn )
ko`rinishida berilgan
tanlanmaning birinchi m taqiymati
( y1,..., ym )
senzurlanmagan tanlanmaning
qolgan (n-m) tasi
( ym1,..., yn ) senzurlangan tanlanma hisoblanadi.
Bu holda
xi
i1
ni baholashda
xi yi ( n m) E[ x | , k, x c],
(2.3.1)
i1 i1
va ln xi
i1
ni baholashda:
ln xi ln yi ( n m) E[ln( x) | , k, x c],
(2.3.2)
i1 i1
dan foydalanamiz. (2.3.1) dagi matematik kutilmani hisoblaymiz:
bu yerda
c
E[ x | , k, x c] xf ( x | k, , x c) dx,
0
1 xk1 exp x
f ( x | k, , x c)
.
1 F ( c, k, )
F(c, k, )
gamma taqsimotning c nuqta bo`yicha taqsimot funksiyasidir.
E x | x c, k,
x k c
1
( k)
1
xk1 exp
x dx
x
c
x
k( k)
xk1 exp
dx
x(1k )1 exp
dx
c
u x du dx ,
x
xk1 exp dx
c
bundan,
u(1k)1 expu du
E x | x c, k, c/ (k 1,c / ) ,
uk1 expu du
c/
(k,c / )
bu yerda
(k 1,c / )
senzurlangan gamma taqsimot.
Xuddi shunday (2.3.2) dagi matematik kutilma ham hisoblanadi.
c
E[ln(x) | , k, x c] ln(x) f (x | k, , x c)dx,
0
E ln( x) | x c, k,
ln( x)
c
1
k(k)
xk1 exp
x dx
c
x
1
k(k)
xk1 exp
x dx
ln(x)xk1 exp dx
c
u x du dx ,
x
xk1 exp dx
c
deb belgilaymiz va
ln(u )uk1 expu du
E ln(x) | x c, k, c/
uk1 expu du
c/
1 ln( u ) uk1 exp( u) du
(k,c / ) c/
1
ln( ) uk1 exp(u)du ln(u)uk1 exp(u)du
(k,c / )
ln( )
c/
1
c/
d
[uk1 exp(u)]du
(k,c / ) c/ dk
ln( ) 1 d (k, c / ).
(2.3.4)
( k, c / ) dk
Shu qiymatlarni yetarli statistika va (1.2.4), (1.2.5) tenglamalarga ishlatib biz parametrlarning baholarini yangilay olamiz. Keyin bu yangilangan parametrlar bilan jarayonni qaytarib, parametrlarni yana ham yaxshi baholarini olamiz. Bu
m
jarayonni yaqinlashish qoniqarli bo`lgunga qadar davom ettiramiz ya`ni, quyidagicha:
nln((t1) ) n (k(t1) ) ln( yi )
i1
(n m) ln
1
( k
, c /
) 0
(2.3.5)
( t )
va
( k
(t ) , c / (t ) k
(t ) (t )
nk( t 1)
1 m
y ( n m)
(k(t ) 1,c / (t ) ) 0.
2
i
(t )
(k
,c / )
(t 1) (t 1) i1 (t ) (t )
Quyidagi jadvallarda parametrlari
k, bo’lgan gamma taqsimotini
noma’lum parametrlari uchun EM algoritmi yordamida baholar topilgan (bu yerda
bosh to’plam
k 2,5; 2 parametrli gamma taqsimotga ega)
N=100
k uchun baho
|
Senzurlanish
|
Senzuralanish
foizi
|
o`rtachasi
|
xatolik
|
O`ng tomondan
|
10
|
2.5597
|
0.1339
|
50
|
2.6206
|
0.2619
|
80
|
2.8196
|
0.8295
|
Chap tomondan
|
10
|
2.5587
|
0.1438
|
50
|
2.6429
|
0.3826
|
80
|
3.0545
|
2.3225
|
uchun baho
|
Senzurlanish
|
Senzuralanish
foizi
|
o`rtachasi
|
xatolik
|
O`ng tomondan
|
10
|
1.9986
|
0.1011
|
50
|
1.9978
|
0.2486
|
80
|
2.0243
|
0.9516
|
Chap tomondan
|
10
|
1.9944
|
0.0974
|
50
|
1.9845
|
0.1843
|
80
|
1.9464
|
0.4660
|
N=1000
k uchun baho
|
Senzurlanish
|
Senzuralanish
foizi
|
o`rtachasi
|
xatolik
|
O`ng tomondan
|
10
|
2.5586
|
0.1355
|
50
|
2.6133
|
0.2596
|
80
|
2.799
|
0.848
|
Chap tomondan
|
10
|
2.5606
|
0.1447
|
50
|
2.6471
|
0.397
|
80
|
3.0385
|
2.2167
|
uchun baho
|
Senzurlanish
|
Senzuralanish
foizi
|
o`rtachasi
|
xatolik
|
O`ng tomondan
|
10
|
2.0001
|
0.1039
|
50
|
2.0038
|
0.2465
|
80
|
2.05
|
0.9759
|
Chap tomondan
|
10
|
1.9937
|
0.0994
|
50
|
1.9845
|
0.1892
|
80
|
1.9539
|
0.4731
|
N=10000
k uchun baho
|
senzurlanish
|
Senzuralanish
foizi
|
o`rtachasi
|
xatolik
|
O`ng tomondan
|
10
|
2.5010
|
1.266103
|
50
|
2.5009
|
2.179103
|
80
|
2.5023
|
5.1103
|
Chap tomondan
|
10
|
2.5010
|
1.326103
|
50
|
2.5021
|
3.163103
|
80
|
2.5042
|
1.131103
|
uchun baho
|
Senzurlanish
|
Senzuralanish
foizi
|
o`rtachasi
|
xatolik
|
O`ng tomondan
|
10
|
1.9994
|
1.055103
|
50
|
2.0001
|
2.434103
|
80
|
2.0009
|
8.59103
|
Chap tomondan
|
10
|
1.9994
|
9.952103
|
50
|
1.9991
|
1.877103
|
80
|
1.9994
|
4.827103
|
Xulosa
Ushbu bitiruv malakaviy ishda EM algoritmi yordamidada baho topish o`rganildi. Bunda umumiy holda Gamma taqsimoti nomalum parametri uchun EM algoritmi yordamida baho olindi. Amaliyotda yo`qotishga ega tizimlar va senzuralangan tizimlar uchun baho olish juda murakkab bo`lib, hisoblash jarayonini qiyinlashtiradi. Bunday vaziyatlarda EM algoritmi kabi iterativ usullar yordamida baho olish mumkin va kompyuter yordamida hisoblash jarayonida izlanayotgan baho olinadi.Ushbu bitiruv malakaviy ishda tanlanma elementlari 100ta 1000ta 10000ta; qiymatlar yo`qotilganligi kuchsiz (10%), o`rta(50%), kuchli(80) va senzurlanish o`ng va chap tomondan bo`lganda k va lar uchun baho olindi.
1-bobda baho va uning xossalari, ba’zi muhim taqsimot funksiyalar orasidagi bog’lanishlar va noma’lum parametrlari baholari, hamda Nyuton-Rafson usuli yoritilgan. Bitiruv malakaviy ishi 2- bobida senzurlagan tanlanmalarning ba’zi modellari, EM algoritmi chuqur o’rganilgan, ya’ni EM algoritmi yordamida gamma taqsimotining noma’lum parametrlari uchun baho topilgan.
Foydalanilgan adabiyotlar
А.А.Абдушукуров “ Статистика неполных наблюдений. Асимптотическая теория оценивания для неклассических моделей” «Университет», 2009. - с.
Боровков А.А. “Математическая статистика” – Учебник. – Институт математики 1997 г. 772 с. 3. Dempster A.P., Laird N.M. and Rubin D.B (1977) Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society B.39. pp1-23.
Kramer H. “Mathematical Methods of Statistics”, Princeton University Press. 1946. Y. 24 p.
Little R. J. , Rubin D.B. Statistical Analysis with Missing data Wiley, New York, 2002.
Nettleton D. Convergence properties of the EM algorithm in constrained parameter spaces Canad J. of Stat., 1999, 27.p. 639-648.
Shenton L.R. and Bowman K.O.(1977) Maximum likelihood estimation in small samples. Charles Griffen & Company ltd.
www.wikipedia.org.
www.teorver.ru.
Dostları ilə paylaş: |