The main focus of machine learning is making decisions or predictions based on data

1.4 Sequence learning

In sequence learning, the goal is to learn a mapping from input sequences x

0

, . . . , x

n

to output

sequences y

1

, . . . , y

m

. The mapping is typically represented as a state machine, with one

function f used to compute the next hidden internal state given the input, and another

function g used to compute the output given the current hidden state.

It is supervised in the sense that we are told what output sequence to generate for which

input sequence, but the internal functions have to be learned by some method other than

direct supervision, because we don’t know what the hidden state sequence is.