Entropiya– bu xabarlar manbaining holatidagi noaniqligining o‗lchovi ham hisoblanadi. Agar manba tomonidan 1 ga teng ehtimoli bilan faqat bitta belgi uzatilayotgan bo`lsa, u holda entropiya nolga tengdir. Agar xabar manbaidan uzatilayotgan belgilar bir xil ehtimollik bilan paydo bo`lsa, entropiya maksimal bo`ladi.
1-Misol: Quyidagi ko`rinishda axborot berilgan bo`lsin: BBCBBBCDDEDAAADDFFGGHHEE Ushbu axborotda umumiy belgilar soni 24 ta. Dastlab ushbu axborot uchun entropiya ko`rsatkichining qiymatini hisoblaymiz
Ushbu algoritm bo`yicha hisoblash natijalari jadvalda keltirilgan. Kodlashtirilgan axborotdagi xar bir belgiga mos kelgan kodli kombinatsiyaning o`rtacha uzunligi quyidagicha hisoblanadi:
keltirilgan.
Hozirgi kunda eng keng tarqalgan, amaliyotda ko`p ishlatiladigan entropiyali kodlash usuliga asoslangan algoritmlardan biri bu – Devid Xaffman algoritmi hisoblanadi .
1-Misol: Quyidagi ko`rinishda axborot berilgan bo‗lsin: BBCBBBCDDEDAAADDFFGGHHEE.
X affman algoritmi bo`yicha hisoblash natijalari 2.2-jadvalda keltirilgan.
Belgilar
B
D
A
E
C
F
G
H
kodi
01
00
100
101
1101
1100
1111
1110
Kodlashtirilgan axborotdagi har bir belgiga mos kelgan kodli kombinatsiyaning o`rtacha uzunligini hisoblaymiz:
Yuqoridagi ko`rib chiqilgan 1 va 2 misollarda kodlashtirilayotgan axborot qo`yidagicha, ya‘ni BBCBBBCDDEDAAADDFFGGHHEE.
Biroq, hisoblash natijalariga ko`ra, kodlashtirilgan axborotdagi har bir belgiga mos kelgan kodli kombinatsiyaning ortacha uzunligi Shennon
- Fano usuli uchun no‗rtacha=2,96 bitga, Xaffman usuli uchun esa
no‗rtacha=2,92 bitga teng chiqdi.
Bundan xulosa qilinadiki, yuqoridagi axborotni Xaffan usuli bilan kodlashtirilsa maqsadga muvofiq bo`ladi, chunki ushbu algoritm bilan axborot kodlashtirilganda axborotdagi har bir belgiga mos keluvchi kodli kombinatsiyaning o`rtacha uzunligi kichkina, ya‘ni axborotni uzatish uchun kam bit sarflanadi. Bu esa o`z navbatida axborotni uzatish tezligini oshirishga olib keladi.