Non-iid data and Continual Learning processes in Federated Learning: a long road ahead

Information Fusion 88 (2022) 263–280
274
M.F. Criado et al.
Table 7
Required restrictions for the non-IID learning scenarios.
5.3. Data requirements for the different scenarios
To be able to apply federated learning in the different scenarios
depicted in
Table 4
, data has to fulfil certain requirements. In this
subsection we will describe these restrictions, which are summarized
in
Table 7
.
Considering all of the scenarios presented in
Table 4
, some of
them are solvable using sophisticated techniques without imposing
additional restrictions, but some others may need to verify certain
conditions that neither standard FL nor CL demand. As we saw in
Sections
3
and
5
, facing variations in the marginal input probabilities
𝑃
(𝑥)
, either in the spatial or temporal dimension, is possible with-
out any supplementary information [
69
,
74
], i.e, unsupervised learning
techniques can also be useful in these scenarios. On the contrary, if we
seek to detect changes in the conditional probability 𝑃 (𝑦
|𝑥), a certain
amount of labelled data is required [
108
,
149
], because these kinds of
changes can only be measured with the error committed. To be more
precise, we establish three restrictions that need to be satisfied to face
some scenarios, and denote them as Restrictions 1P-MT, AP-1T, and
AP-MT in
Table 7
:
(i) If the clients behaviour change with time but does not change
among the devices, i.e., data fit the cells marked as Restriction 1P-
MT
(one participant, many times) in
Table 7
, then we will need
to have enough labelled data of at least one participant from time
to time. Knowing the behaviour of one participant is enough since
in these scenarios the behaviours of all of the other participants
will be the same. When a Real Concept Drift occurs, that client
labelled data will allow the model to detect that drift and properly
react to it.
(ii) If, on the contrary, data fit the cells marked as Restriction AP-
1T
(all participants, one time) in
Table 7
, then the clients would
present different conditional probabilities, but they will remain
constant in time. In that situation, enough labelled data from all
of the participants will be required at the beginning of the training
process, so we can determine their initial behaviour. Once their
behaviour is settled, it is not possible for it to change, so no more
labelled data is required as time passes.
(iii) Lastly, if conditional probabilities vary both in the spatial and
temporal axis, which corresponds to cells marked as Restriction
AP-MT
(all participants, many times) in
Table 7
, then we need
enough labelled data from all of the participants, from time to
time, so we can conclude when drifts occur and act in conse-
quence. This restriction provides strictly more information than
the other ones, so any other scenario considered in
Table 7
will
also be solvable under this requirement. However, it could be
very unrealistic to assume that we could have this information
in real-world problems.
The kind of heterogeneity that can be handled without any addi-
tional restriction is by far the most studied one in the literature (see the
number of works cited in
Table 4
). Situations where some additional
condition is required are less studied, not because the tasks that fit these
scenarios are uncommon, but because it is harder to elaborate methods
that face this type of issue, as they imply working under the restrictions
we just settled.
The spatial and temporal axis can be handled separately since they
involve different kinds of techniques, as we have previously seen, and
they are independent sources of heterogeneity. A realistic problem
may present both of them, and hence the model developed to solve
it must implement some tool that addresses each of the possible kinds
of heterogeneity.
Tools to deal with spatial and temporal heterogeneity are respec-
tively orthogonal, i.e., they do not affect nor interfere on each other.
For instance, the usage of time windows to detect any kind of drift, and
a domain factorization strategy on each client to adapt the different
feature domains, are two strategies that can be deployed at the same
time and have no impact on each other. Therefore, when dealing with
a situation that presents spatial and temporal non-IID data at the same
time, each source of heterogeneity can be addressed independently with
the suitable information, i.e., the restrictions we mentioned.