Azərbaycan Dövlət Bədən Tərbiyəsi və İdman Akademiyası

Azərbaycan Dövlət Bədən Tərbiyəsi və İdman Akademiyası

Tələbə- Gülgün Cəfərova

Qrup-110 A9

Fənn- İnformatika və Təhsildə İKT

Müəllim- Nailə Musayeva

İnformasiya nəzəriyyəsində entropiya

Entropiya sözü adətən nizam sözü ilə birlikdə işlədilir və nizamın dağılması entropiyanın artması ilə əlaqələndirilir. Lakin, nizam dedikdə nə nəzərdə tutulur? Əlbəttə, gündəlik dilimizdə nizam sözünün nə mənaya gəldiyini bilirik, amma bu sözə obyektiv elmi tərif vermək üçün ilk öncə entropiyanın riyazi izahatını nəzərdən keçirtməliyik. Bu riyazi izahat nizam anlayışını informasiya anlayışı ilə əlaqəndirəcək və ətrafda baş verən proseslərə baxış bucağımızı xeyli dəyişdirəcəkdir. Entropiya anlayışına keçid etməzdən əvvəl isə ehtimal nəzəriyyəsi haqqında bəzi fundamental ideyaları izah etmək önəmlidir.

Məşhur zər nümunəsi ilə ehtimal nəzəriyyəsini belə izah edə bilərik. Deyək ki, zəri atmazdan əvvəl baş verəcək mümkün hadisələrin ehtimallarını bilmək istəyirik. Bu kontekstdə, hadisə dedikdə zərin hansı üzünün düşəcəyinə işarə edirik. Mümkün hadisələr toplusunu S hərfi ilə və ayrı-ayrı hadisələri A, B, C … hərfləri ilə göstərsək, S çoxluğunda olan A hadisəsinin ehtimalını p(A) işarə edə bilərik. Gələk əsas məsələyə – ehtimal nərəziyyəsinin fundamental qanunlarından biri odur ki, ehtimal sıfır ilə bir arasında olan bir ədəd olmalıdır və mümkün bütün hadisələrin ehtimalları cəmi ( S çoxluğundakı hadisələr) birə bərabər olmalıdır, yəni p(A)+p(B)+p(C)… = 1 . Zər nümunəsində əgər fərz etsək ki, zərin hər üzünün düşmə ehtimalı digər üzlər ilə eynidir (reallıqda, belə zəri düzəltmək üçün zərgər dəqiqliyi lazımdır, bəlkə də buna görə peşənin adını zərgər qoyublar, zəri yaxşı düzəldən yəni. zarafat), onda hər hansı bir üzün düşmə ehtimalı 1/6-ə bərabər olmalıdır. Çünki zərin mümkün 6 üzü var və 1/6 x 6 = 1. Statistikada ehtimallar paylaşımını qrafiklə göstərirlər. Bu qrafikdə x oxunda mümkün hadisələr, y oxunda isə hadisələrin ehtimalları olur. Qrafik təsvir üçün bəzən hadisələri verilən qayda ilə real ədədlərə çevirmək lazım olur, məsələn, zər nümunəsində bunu etmək çox rahatdır. Çünki, hadisəni düşən üzdəki rəqəm ilə göstərə bilərik. Başqa bir nümunə – məsələn, sabah yağışın yağıb və ya yağmayacağının statistik modelini hazırlamaq lazım olsaydı, onda yağışın yağmasını 1, əksini isə 0 rəqəmi ilə göstərərdik.

Fransız alim Claude Shannon 1948-ci ildə nəşr olunan inqilabi elmi işində ilk dəfə olaraq entropiya anlayışının informasiya nəzəriyyəsindəki riyazi izahatını verdi (1). Bu anlayışı nümunə üzərindən izah etməyə çalışacağam. Təsəvvür edək ki, yuxarıdakı zər misalına bənzəyən hər hansı bir hadisənin ehtimallar paylaşımı bizə verilib. Yəni, biz hansı hadisənin hansı ehtimalla baş verə biləcəyini çox yaxşı təxmin edə bilirik. Əlbəttə, hadisə baş verənə qədər onun mümkün variantlardan hansının olacağını bilmirik: əlimizdə olan sadəcə ehtimallardır. İndi bu əqli eksperimenti iki mərhələyə bölək – birinci mərhələ hadisə baş verməzdən öncə, ikinci mərhələ isə hadisə baş verdikdən sonra olsun. İndi keçək sürprizə. Qəribə səslənsə də, ‘sürpriz’ informasiya nəzəriyyəsində bir termindir və onun çox sadə riyazi formulu var. Bu riyazi formulu izah etdikdən sonra hamınızda kiçik də olsa bir təbəssüm oyanacaq, çünki bu izahatdan sonra Shannon’un bu nəticələrə hansı mərhələlərdən keçərək gəldiyini hiss edəcəyik. Birinci başlayaq gündəlik həyatda işlətdiyimiz sürpriz sözündən. Sürpriz, əgər razısınızsa, ehtimalı aşağı olan hadisənin baş verməsidir. Başqa sözlə desək, daha az gözlədiyimiz bir hadisənin qeydə alınmasıdır. Məsələn, tutaq ki, iki hadisə, A və B-nin baş vermə ehtimalları müvafiq olaraq belədir: p(A)=0.0001, p(B)=0.6 (qeyd: burada ehtimalların cəmi 1 deyil, çünki çoxluqda başqa hadisələr də var; mən sadəcə nümunə üçün iki hadisədən danışıram). Hansı hadisə baş verərsə daha çox sürpriz yaşanar? Ehtimallara baxsaq A hadisəsinin baş verməsi daha çox sürprizə səbəb olacaq, çünki olma ehtimalı çox kiçikdir. Deməli, sürpriz ehtimalla tərs mütənasib olmalıdır. Keçək ikinci nüansa. Tutaq ki, A hadisəsinin ehtimalı 1-dir. Əgər p(A)=1 olduğu doğrudursa, biz nəticəni artıq bilirik – yəni A hadisəsi mütləq baş verəcək. Onda, intuisiyamız bizə deyir ki, sürpriz tənliyi elə olmalıdır ki, ehtimalı birə bərabər olan hadisənin sürprizi sıfır olsun. Üçüncü nüans – deyək ki, A hadisəsinin olma ehtimalı sıfırdır. Bəs bu halda mümkün sürprizi necə kəmiyyətləşdirək? Intuitsiyamız yenidən deyir ki, ehtimalı sıfır olan hadisə heç vaxt baş verməyəcəyinə görə mümkün sürpriz haqqında danışmaq çətindir. Yəni, bu tənlik elə bir tənlik olmalıdır ki, orada ehtimal sıfır olduqda formula təyin edilməsin. Nəhayət, son nüans – sürpriz mənfi ədəd ola bilməz. Shannon bu tələbatları ödəyən funksiyanı öz məqaləsində belə təyin etmişdir: