. Umumiy shartlari e'tiborsizlik: to'xtatish so'zlar
Ba'zan qadriyatlarni ifodalovchi juda keng tarqalgan so'zlar foydalanuvchilarning axborot ehtiyojlarini qondirish odatda chiqarib tashlanadi Leksikon. Ular to'xtash so'zlari (stop-words) deb ataladi. Odatda, stop-Word ro'yxatlarini yaratish uchun atamalar to'plamdagi chastotada (hujjatlar to'plamidagi atamalarning takrorlanishining umumiy soniga teng) va keyin tez-tez tartibga solinadi ko'pincha semantik hisobga olgan holda qo'l bilan filtrlangan atamalar indekslangan hujjatlarning predmeti bilan bog'liq bo'lgan aloqalar indekslangan elementlar bekor qilingan stop belgilari (stop-list) ro'yxatiga kiritilgan. Misol ro'yxati so'zlarni to'xtatish shakl.
Normalizatsiya (sinflarga ko'ra atamalarni tasniflash ekvivalentlik)
Sizning hujjatingiz va so'rovingiz allaqachon leksemalarga bo'linishini aytaylik. Eng oddiy holatda, so'rovdagi belgilar hujjatning belgilariga to'g'ri keladi. Biroq, juda tez-tez ikki belgi ketma-ketligi aniq emas, lekin teng deb hisoblanadi. Misol uchun, agar siz AQSh so'zini qidirsangiz, u holda AQSh qisqartmasi bo'lgan hujjatlarni ham ko'rishni xohlashingiz mumkin. Lexemlarni normalizatsiya qilish (token normalization) belgilar ketma — ketligi o'rtasidagi ahamiyatsiz farqlarni bartaraf etish uchun leksemalarni kanonik shaklga olib kelish jarayonidir. 8 normalizatsiya qilishning eng keng tarqalgan usuli, odatda, ularning a'zolaridan biri nomi bilan ataladigan ekvivalentlik sinflarini (Equivalence classes) bevosita yaratishdan iborat.
Xulosa
Ma’lumotlarni qayta ishlashda va ma’lumotlarni ma’lumotlar bazasiga joylashtirishda qo’llaniladi.
Bu masalalar bilan malumotlarni intelletual tahlil qilish (data mining) shug’ullanadi.
Internetning rivojlanish kontseptsiyasi: Har bir hujjatga semantik to’r deb ataluvchi XML formatidagi meta ma’lumotli fayl biriktiriladi va juda istiqbolli hisoblanadi. Lekin bu hujjatning o’zini almashtirish (o’zgartirish) emasligini e’tiborga olish kerak.
