Entropiya va noaniqlik

Translated from Russian to Uzbek - www.onlinedoctranslator.com



Entropiya va noaniqlik
Shunday qilib, biz xabardagi ma'lumotlar miqdorini o'lchash noaniqlikdagi o'zgarishlarni hisobga olish asosida amalga oshirilishi mumkinligini aniqladik.TO. Shennon noaniqlik o'lchovi sifatida entropiya tushunchasini kiritdi. EntropiyaH(m)xabardagi ma'lumotlar miqdorini belgilaydimva uning noaniqligining o'lchovidir.
Xabar manbasini yaratishga ruxsat beringnturli xabarlarm 1, m 2, ... mnehtimollar bilanp 1 , p 2 ,... , pn. Bunday holda, xabarning entropiyasi formula bilan aniqlanadi

Ushbu formula ikkilik logarifmadan foydalanganligi sababli, entropiya bitlarda o'lchanadi, bu kriptografiya, axborot nazariyasi va kompyuter fanida keng tarqalgan.
Entropiyaning "fizik" ma'nosi shundaki, entropiya noaniqlikning miqdoriy o'lchovidir. Misol sifatida, uchta xabar manbasini ko'rib chiqing, ularning har biri faqat ikkita turli xabarni yaratishi mumkin.m1Vam2. Ma'lum bo'lsinki, birinchi manba uchun birinchi xabarning paydo bo'lish ehtimolip(m1)=0, va ikkinchi xabarning ehtimolip(m1)=1. Ikkinchi manba uchun xabar ehtimoli teng, ya'nip(m1)=0,5Vap(m2)=0,5. Uchinchi manba uchun xabar ehtimoli quyidagicha:p(m1)=0,9Vap(m1)=0,1. Xabar manbalarining har birining entropiyasini aniqlaylik. Birinchi manba uchun:
H1 = -0 * log2 0 - 1 * log2 1 = 0 - 0 = 0
Entropiyayoki birinchi manbaning noaniqliginol. Haqiqatan ham, agar ikkita xabardan faqat bittasi har doim hosil bo'lishi oldindan ma'lum bo'lsa, unda noaniqlik yo'q.
Ikkinchi manbaning entropiyasini aniqlaymiz:

Noaniqlik bir bitga teng bo'lib chiqdi. Endi uchinchi manbaning entropiyasini topamiz:

Uchinchi manbaning noaniqligi ikkinchisiga qaraganda kamroq, chunki uchinchi manba tomonidan yaratilgan ikkita mumkin bo'lgan xabarlardan biri ikkinchisiga qaraganda ko'proq.
Entropiya tushunchasi axborotni uzatish va saqlash nazariyasining ko‘pgina muammolarida muhim o‘rin tutadi. Xususan, ma'lumotlarni siqishning maksimal miqdorini aniqlash uchun entropiyadan foydalanish mumkin. Aniqrog'i, agar xabar manbai etarlicha katta uzunlikdagi matnni yaratsanma'lum bir cheklovchi entropiya bilanhhar bir xabar bitiga, keyin bu matn nazariy jihatdan o'lchamga siqilishi mumkinn*hbit. Masalan, agarh = 1/2, keyin matnni yarmiga qisqartirish mumkin va hokazo. Ma'nosin*hchegara hisoblanadi va amalda kamdan-kam hollarda erishiladi.
Kriptografik nuqtai nazardan, entropiya xabarning mazmunini bilish uchun ochilishi kerak bo'lgan belgilar sonini aniqlaydi. Shunday qilib, agar ba'zi 8 bitli ma'lumotlar bloki ikkita mumkin bo'lgan xabarlardan birini saqlasa (masalan, javoblar"Ha"yoki"Yo'q"), unda asl xabarning ma'nosini aniqlash uchun bir bitni to'g'ri bilish kifoya. So'zlarni shifrlash uchun qancha bit ajratmasak ham"Ha va yo'q", entropiya yoki noaniqlik har doim dan kichik yoki teng bo'ladi1.