İnformatikanin əsaslari

İnformasiyanın miqdarı üçün Şennon düsturu

Çox hallarda baş verən hadisələri törədə biləcək mümkün hallar eyni ehtimallı olmur. Məsələn, pul və ya zər simmetrik deyilsə, onun bir üzünün düşmə ehtimalı fərqlənəcəkdir. Müxtəlif ehtimallı mümkün hallar üçün informasiyanın miqdarı düsturunu 1948-ci ildə

K.Şennon təklif etmişdir: I
N
p_i log ₂ p_i
i 1
Burada: İ – informasiyanın miqdarı, N –

mümkün halların sayı,
^p_i - i-ci halın ehtimalıdır.

Fərz edək ki, qeyri-simmetrik piramidanın üzlərinin düşmə ehtimalları:

1

p₁ , p₂
2
, p₃
və p₄
kimidir. Bu halda informasiyanın miqdarı:

I (¹ log ¹
2 ² 2
¹ log ¹
4 ² 4

1. 
   log ¹
   

8 ² 8
¹ log ¹) (¹
8 ² 8 2
2 3 3₎ 14
4 8 8 8
1


1,75


bit olar.

Eyni ehtimallı hallar üçün Şennon düsturu I
log ₂
N
şəklinə düşür.

Eyni ehtimallı hallarda bu informasiyanın miqdarı 2 bit ( ^{4 22
2 I} və ya

I log ₂ 4

2. 
   ) olur. Göründüyü kimi, eyni ehtimallı hallarda alınan informasiyanın miqdarı
   

daha çoxdur. Bu, əslində, maksimal miqdardır. İnformasiyanın miqdarının təyini üçün təklif edilən bu yanaşma ehtimallı üsul adlanır. Bu üsul hər hansı suala cavab vermək üçün azı nə qədər cəhd edilməsini təyin etməyə imkan verir. Məsələn, 32 hərfli əlifbanın hər hansı hərfinin təyini üçün azı 5 addım tələb olunur.

5.