The main focus of machine learning is making decisions or predictions based on data

5 Model class and parameter fitting

A model class M is a set of possible models, typically parameterized by a vector of param-

eters Θ. What assumptions will we make about the form of the model? When solving a

regression problem using a prediction-rule approach, we might try to find a linear func-

tion h(x; θ, θ

0

) = θ

T

x

+ θ

0

that fits our data well. In this example, the parameter vector

Θ

= (θ

, θ

0

)

.

For problem types such as discrimination and classification, there are huge numbers of

model classes that have been considered...we’ll spend much of this course exploring these

model classes, especially neural networks models. We will almost completely restrict our

Last Updated: 08/04/21 21:06:54

---

MIT 6.036

Fall 2021

10

attention to model classes with a fixed, finite number of parameters. Models that relax this

assumption are called “non-parametric” models.

How do we select a model class? In some cases, the machine-learning practitioner will

have a good idea of what an appropriate model class is, and will specify it directly. In other

cases, we may consider several model classes. In such situations, we are solving a model

selection problem: model-selection is to pick a model class M from a (usually finite) set of

possible model classes; model fitting is to pick a particular model in that class, specified by

parameters θ.