So‘zni turkumlarga bo‘lishda ikki umumiy superkategoriya mavjud:
o‘rnatilgan, yangi predloglar kamdan-kam hollarda hosil bo‘ladi. Bundan farqli
ravishda,otlar va fe’llar ochiq sinf hisonlanadi, chunki yangi otlar va fe’llar
davomiy tarzda paydo bo‘lib boradi yoki boshqa tillardan o‘zlashtiriladi.
Dunyo tillarida to‘rtta katta ochiq guruh mavjud: otlar, fe’llar, sifatlar va
So‘zlarni turkumlarga ajratish algoritmi bu so‘zlarni bir tizimga
tizilishi va ma’lum bir tartibda belgilanishidir. Ingliz tilida so‘zlarni
turkumlarga ajratishda Brown korpusi (1979) dastlabki asosiy ajratish
Daniel Jurafskiy & James H. Martin.Speech and Language Processing: An introduction to natural language
39
namunasi bo‘lib, turli janrlarda yozilgan 500 dan ortiq matndan 1 million ta
so‘zlar to‘plamini o‘z ichiga oladi. Bu korpusbirinchi turkumlarga ajratishda
dastlabki tadqiqotlardan biri hisoblanadi. Unda 87 ta ajratilgan to‘plam
berilgan. Keyinchalik 45 ta ajratilgan to‘plamga ega Penn Treebank korpusi
(Marcus, 1993), Britaniya Milliy Korpusi (British National Corpus, 1997)
kabi so‘z turkumlariga ajratishdagi to‘plamlar berilgan. Quyida 45 ta ajratilgan
to‘plamga ega Penn Treebank korpusi beriladi.
Ba’zi turkumlarga ajratishdagi farqlar inson uchun ham, mashina uchun
ham murakkabdir. Masalan, predloglar, yordamchi so‘zlar, ravishlar katta
o‘xshashlikka ega. Masalan, around so‘zi yuqorida sanalgan uchta vazifada
ham kelishi mumkin:
1. Mrs. Shafaer never got around(particle) to joining.
(Mister Shafaer birlashtirishda ortga qaytmagan).
2. All we gotta do is go around in (determiner) the corner.
3. Chateau Petrus costs around(adverb) 250.
(Chateau Petrusi taxminan 250 narxlanadi).
Ajratish (Tag) Tavsif (Description)
Namuna
CC
Coordin. Conjuction
and, but, or
CD
Cardinal number
one, two, three
DT
Determiner
a, the
EX
Existential ‘there’
There
FW
Foreign word
Mea culpa
IN
Preposition/sub-conj
of, in, by
JJ
Adjective
Yellow
JJR
Adj.,comparative
Bigger
JJS
Adj., superlative
Wildest
LS
List item marker
1,2, One
MD
Modal
Can, should
NN
Noun, sing. or mass
Ilama