|
S(i) = log 1/(p(i)) = –log p(i)
Burada, i hadisəsinin oyada biləcəyi mümkün sürpriz S(i) -yə bərabərdir. Bəs informasiya anlayışı sürprizlə necə əlaqəlidir? Əgər, A hadisəsinin sürprizi S(A) -dırsa, A hadisəsi baş verdikdə müşahidəçinin əldə etdiyi informasiya elə S(A)–ya bərabərdir. Başqa sözlə, böyük sürpriz dəyəri olan hadisənin baş verməsi böyük miqdarda informasiya deməkdir. Ona gorə də, sürpriz və informasiya sözlərini bu kontekstdə sinonim kimi işlədə bilərik. Nəhayət gəldik entropiya anlayışına: entropiya, verilmiş problemdə, mümkün bütün hadisələrin ortalama sürprizidir. Məsələn, deyək ki, mümkün baş verəcək hadisələr A, B, C, D və hər birinin sürpriz dəyərləri uyğun olaraq, S(A), S(B), S(C), S(D)- dir. Eksperiment və ya müşahidədən öncə bu hadisələrdən hansının baş verəcəyindən əmin deyilik. Lakin, gözləninən orta sürprizi hesablaya bilərik, həmin bu gözlənilən ortalama sürpriz (ing. expected surprise) məhz entropiyaya bərabərdir.
Dostları ilə paylaş: |
