The main focus of machine learning is making decisions or predictions based on data

1 Problem class

There are many different problem classes in machine learning. They vary according to what

kind of data is provided and what kind of conclusions are to be drawn from it. Five stan-

dard problem classes are described below, to establish some notation and terminology.

In this course, we will focus on classification and regression (two examples of super-

vised learning), and will touch on reinforcement learning and sequence learning.

1.1 Supervised learning

The idea of supervised learning is that the learning system is given inputs and told which

specific outputs should be associated with them. We divide up supervised learning based

on whether the outputs are drawn from a small finite set (classification) or a large finite or

continuous set (regression).

1.1.1 Regression

For a regression problem, the training data D

n

is in the form of a set of pairs {(x

(

1)

, y

(

1)

)

, . . . , (x

(n)

, y

(n)

)}

where x

(i)

represents an input, most typically a d-dimensional vector of real and/or dis-

crete values, and y

(i)

is the output to be predicted, in this case a real-number. The y values

Many textbooks use x

i

and t

i

instead of x

(i)

and y

(i)

. We find that

notation somewhat dif-

ficult to manage when

x

(i)

is itself a vector and

we need to talk about

its elements. The no-

tation we are using is

standard in some other

parts of the machine-

learning literature.

Many textbooks use x

i

and t

i

instead of x

(i)

and y

(i)

. We find that

notation somewhat dif-

ficult to manage when

x

(i)

is itself a vector and

we need to talk about

its elements. The no-

tation we are using is

standard in some other

parts of the machine-

learning literature.

are sometimes called target values.

The goal in a regression problem is ultimately, given a new input value x

(n+

1)

, to predict

the value of y

(n+

1)

. Regression problems are a kind of supervised learning, because the

desired output y

(i)

is specified for each of the training examples x

(i)

.

Last Updated: 08/04/21 21:06:54

---

MIT 6.036

Fall 2021

6