Misol. Ikkkilik sanoq tizimidagi sakkiz xonali 11010111 ikkilik kodining
ma'lumotlar hajmi Vм=8 bit. O’nli sanoq tizimida olti xonalik 247532 sonining mos
ma'lumotlar hajmi Vм=6 dir.
Sintaktik bosqichda axborot miqdorinitizim holatining noaniqligi (tizim
entropiyasi) tushunchasini ko’rmasdan aniqlab bo’lmaydi.
Aytaylik axborot olinishgacha foydalanuvchi α tizimi xususida qandaydir dastlabki
(aprior) ma'lumotga ega bo’lsin. Uning tizimdan voqif emaslik o’lchovi H(α)
funksiya bo’lib, bu funksiya o’z navbatida tizim holatining noaniqlik darajasi va
o’lchovi hisoblanadi.
Qandaydir β ma'lumot qabul qilingandan so’ng qabul qiluvchi qandaydir
qo’shimcha Iβ(α) axborotga ega bo’ladi va uning aprior voqif emasligi kamayadi,
natijada tizim holatining apostеrior (β ma'lumot qabul qilingandan so’nggi)
noaniqligi Н β(α) ga tеng bo’ladi.
Unda, β ma'lumotdagi tizim xususidagi axborot miqdori Iβ(α) quyidagicha
aniqlanadi:
Iβ(α)= Н(α)-Нβ(α), (1)
ya'ni, axborot miqdori tizim holati noaniqligining o’zgarishi (kamayishi) orqali
o’lchanadi.
Agar so’nggi noaniqlik Hβ(α) nolga aylansa, dastlabki to’liq bo’lmagan bilim to’liq
bilim bilan almashtiriladi va axborot miqdori Iβ(α)=Н(α) bo’ladi. Boshqacha
aytganda, tizim entropiyasi Н(α) еtishmaydigan axborot o’lchovi sifatida ko’rilishi
mumkin.
Mumkin bo’lgan N holatlarga ega bo’lgan tizim entropiyasi H(α) Shеnnon
formulasiga binoan quyidagicha aniqlanadi:
bu еrda Ri - tizimning i-holatda bo’lishligi ehtimolligi.
Tizimning barcha holatlari tеng ehtimollik bo’lgan (pi q1G’ N ) hol uchun entropiya
quyidagi munosabat orqali aniqlanadi:
(3) Ma'lumotlarning axborotlik koeffitsiеnta (darajasi) axborot miqdorining uning
ma'lumotlar hajmiga nisbati orqali aniqlanadi, yani;
у= i / Vм. , бу ерда 0 Tizimda axborot o’zgartirilishi bilan bog’liq ish ko’lami Y ning ortishi bilan
kamayadi.
Shu
sababli
axborotlik
darajasining
aniqlashga
intilinadi.