O‘zbekiston Milliy universitetining ilm-fan rivoji va jamiyat taraqqiyotida tutgan o‘rni

 
Picture 2. Diagram of a simple Markov model 
Probability of transition 
It is defined as the probability of transition from one state to another. Thus, if there are 3 states (Q1, Q2, Q3), there 
will be a total of 9 possible transitions. In the diagram below, all transition probabilities for states A, B, C are determined. The 
transition probability is usually denoted by A. It is interpreted as the probability of transition of the system from state i to 
state j in time step t+1
. 
 
 
Figure 3. 3-state transition probability diagram 
Mathematically, 
a_ij=p(s(t+1) =j ┤| s(t)=i ) 
For example, in the state diagram above, the transition probability from state Q1 to state Q2 is defined as α12. If we 
observe state Q1 for two days in a row, then the probability of transition from state Q1 to state Q1 in step t+1 is a11. It is 
usually defined using the transition probability matrix (M x M). For our example above, the transition probability matrix can 
be determined as follows: 
(
)
 
One important property to note is that when the machine transitions to another state, the sum of all transition 
probabilities, given the current state, must be equal to 1. In our example, a
11
+a
12
+a
13
=1 yoki: 

---

“O‘zbekiston Milliy universitetining ilm-fan rivoji va jamiyat taraqqiyotida tutgan o‘rni” 
mavzusidagi 
xalqaro ilmiy-amaliy konferensiya, 2023 yil, 12 may
 
107 
∑
The initial state of the Markov model (when the time step is t = 0) is denoted by p, which is a vector of size M. The sum 
of all probabilities must be equal to 1, that is: 
∑
During initialization, all cases can be assigned the same probability. In our example, we set the initial state to 
(
)
. In some cases, we can have 
because they (i) cannot be the initial state. 
Markov chain 
There are 4 main types of Markov models [12;13;19]. When a system is completely observable and autonomous, it is 
called the 
Markov chain
.
What we have learned so far is an example of a Markov chain. Thus, we can conclude that the 
Markov chain consists of the following parameters: 
