O‘zbekiston Milliy universitetining ilm-fan rivoji va jamiyat taraqqiyotida tutgan o‘rni



Yüklə 416,24 Kb.
Pdf görüntüsü
səhifə5/35
tarix25.12.2023
ölçüsü416,24 Kb.
#196538
1   2   3   4   5   6   7   8   9   ...   35
uzmu maqola 0 (2)

The Brill tagger
is a rule-based tagger that looks through training data, finds a set of tagging rules that define the 
data well, and minimize POS tagging errors [8]. The most important thing to note about Brill tagging here is that the rules are 
not created manually, but instead are defined using the provided corpus. The only requirement for feature development is to 
define a set of rule templates that the model can use to generate new features. 
Stochastic POS tagging 
The term "
stochastic tagger"
can refer to different approaches of the POS tagging problem. Any model that involves 
frequency or probability in some way can be called 
stochastic.
The simplest stochastic taggers identify words based on the 
probability of the words occurring with a given tag. In other words, 
the most frequent tag 
and training dataset with a word 
is the tag assigned to the ambiguous word pattern [10; eleven]. The problem with this approach is that while it may return 
the correct tag for a given word, it may return the wrong sequence of tags. 
An alternative approach to word frequency is to calculate the probability of occurrence of a sequence of tags. This 
approach is sometimes referred to as the 
n-gram
approach and is based on determining the best tag for a given word by the 
probability of its occurrence with the previous 

tags. This approach considers tags for individual words depending on the 
context. An approach using tag sequence probabilities and word frequency measures is known as the 
Hidden Markov Model 
(
HMM)
[12;13;14]. 
Hidden Markov Models (HMMs) 
The Markov chain
is a model that describes the probability of a sequence of random events/variables. In a Markov 
chain, only the current state is used to predict the next element in the sequence. All conditions before the current state do not 
affect the next steps [15,16]. 
We will study the Markov chain model for predicting the next word from the current word in a sentence to be 
generated in Uzbek. Words can belong to the noun/adjective/number group of words. The word sequence of the current 
word can be used to predict the next word. In this case, the previous word is not used in the prediction. The following 
examples illustrate this process: 
Picture.
Predicting parts of speech using Markov chain. 


In the first Markov chain (a), there are states of NOUN

Yüklə 416,24 Kb.

Dostları ilə paylaş:
1   2   3   4   5   6   7   8   9   ...   35




Verilənlər bazası müəlliflik hüququ ilə müdafiə olunur ©azkurs.org 2024
rəhbərliyinə müraciət

gir | qeydiyyatdan keç
    Ana səhifə


yükləyin