The main focus of machine learning is making decisions or predictions based on data

1.2.3 Dimensionality reduction

Given samples x

(

1)

, . . . , x

(n)

∈ R

D

, the problem is to re-represent them as points in a d-

dimensional space, where d < D. The goal is typically to retain information in the data set

that will, e.g., allow elements of one class to be discriminated from another.

Dimensionality reduction is a standard technique which is particularly useful for vi-

sualizing or understanding high-dimensional data. If the goal is ultimately to perform re-

gression or classification on the data after the dimensionality is reduced, it is usually best to

articulate an objective for the overall prediction problem rather than to first do dimension-

ality reduction without knowing which dimensions will be important for the prediction

task.