The main focus of machine learning is making decisions or predictions based on data

1.2.2 Clustering

Given samples x

(

1)

, . . . , x

(n)

∈ R

d

, the goal is to find a partitioning (or “clustering”) of the

samples that groups together samples that are similar. There are many different objectives,

depending on the definition of the similarity between samples and exactly what criterion

is to be used (e.g., minimize the average distance between elements inside a cluster and

maximize the average distance between elements across clusters). Other methods perform

a “soft” clustering, in which samples may be assigned 0.9 membership in one cluster and

0.1 in another. Clustering is sometimes used as a step in density estimation, and sometimes

to find useful structure in data.