Information extraction from the web using a search engine Citation for published version (apa)

0
(I
j
) of instances of class c
j
found in the populated ontology O
0
,
we define precision and recall as follows.
precision(c
j
) =
|O
ref
(I
j
) ∩ O
0
(I
j
)|
|O
0
(I
j
)|
and
recall(c
j
) =
|O
ref
(I
j
) ∩ O
0
(I
j
|)
|O
ref
(I
j
)|
.
We formulate similar measures for the relations r in R.
precision(r) =
|O
ref
(J) ∩ O
0
(J)|
|O
0
(J)|
recall(r) =
|O
ref
(J) ∩ O
0
(J)|
|Oref(J)|
.
The standard objection function in the field of information retrieval to combine
precision and recall is the F-measure [Van Rijsbergen, 1979; Voorhees, 2005]. If
precision and recall are equally weighted, i.e. considered to be of the same impor-
tance, F is defined as follows.
F(c
j
) =
2 · precision(c
j
) · recall(c
j
)
precision(c
j
) + recall(c
j
)
(2.1)
Using the parameter α, the F measure is generalized as F
α
, where F = F
1
.

---

2.2 Extraction Information from the Web using Patterns
21
F
α
(c
j
) =
(1 + α) · precision(c
j
) · recall(c
j
)
α · precision(c
j
) + recall(c
j
)
(2.2)
The F-measures for evaluating the populated relations are formulated similarly.
As discussed, to measure precision and recall a ground truth ontology is re-
quired. For some information demands, we can not expect such an ontology or any
other form of structured data to exist. Moreover, information extraction tasks with
a known ground truth are not very interesting from an application point of view.
In cases where no ground truth is available, precision is typically estimated by
manually inspecting a sample subset of the instances found. Recall is estimated
using an (incomplete) set of known instances of the class. For example, if we are
interested in an ontology with musical artists, a complete list of such artists is not
likely to be known. However, we can compute the recall using a set of known or
relevant instances (e.g. famous musical artists extracted from structured sources
such as
Last.fm or Wikipedia) and express the recall using this list.
A separate aspect of the evaluation is the notion of
correctness. We cannot
assume that all correctly extracted statement are indeed true. However, based on
the expected redundancy of information on the web, we expect factual information
to be identifiable.
More complex to evaluate are subjective relations, such as the relation between
a musical artist and a genre as regarded by the web community. Nevertheless may
the use of web information extraction techniques be valuable for such information
demands, as subjective information is less likely to be represented in a structured
manner. We return to this topic in Chapter 6.
2.2 Extraction Information from the Web using Patterns
The ontology population problem can be split into two concerns.