Non-iid data and Continual Learning processes in Federated Learning: a long road ahead

Fig. 5. Classification of the different techniques able to deal with the temporal
heterogeneity in the input space of data.
As far as we are concerned, there are only few methods for ad-
dressing both federated and continual issues at the same time [
9
,
10
].
However, there is still room for significant contributions in these types
of scenarios and a lot of situations that have not been taken into
account.
5.1. Virtual concept drifts
As we already discussed in Section
4.2
, the procedures to detect
virtual drifts rely only on the input data distributions. Similarly, the
approaches to prevent the model from lowering its accuracy involve
just the data samples. They can be classified in Memory-based methods
and Regularization methods, see
Fig. 5
.
Memory-based methods [
139
–
142
] focus on keeping a record of
data samples from the previous concepts, so when a drift is detected,
the network is trained both with new data and the data recorded to
avoid forgetting. [
139
] proposes a method (CLEAR) to store the data
samples already used for training and use them again in the future,
combined with the new collected data. They show that this strategy
is quite effective to prevent catastrophic forgetting. [
140
] proposes
a similar technique, ER, but with the difference that they just store
little amounts of data, and use them repeatedly after drifts mixed with
the new samples. They conclude that their approach neither harm
generalization nor causes overfitting to the saved data samples.
There are other existing alternatives encased in the Memory-based
methods which consist of using the recorded data to generate similar
samples [
141
,
142
]. This kind of technique tries to avoid the possibility
of model overfitting to the specific samples stored in memory. [
141
]
implements a Generative Adversarial Network (GAN) to sample the new
instances of data when drifts are detected. However, training both the
main model and the GAN could result computationally expensive. One
way of addressing this situation without needing a second network is
integrating the generative model into the main model by equipping it
with generative feedback connections [
142
].
On the other hand, Regularization methods [
143
–
145
] impose restric-
tions in the weight updates to keep them fixed and avoid forgetting
an input domain that has already been learnt. [
143
] propose a state-
of-the-art method denominated Elastic Weight Consolidation (EWC),
which learns a task, and then determines which connections between
weights are determinant to correctly perform that task. Those connec-
tions are set applying the matrix of Fisher Information, a statistical
tool that weighs the relevance and contribution of each weight to
the final result of the model. To do so, it estimates the probability
𝑃
(𝑥
|𝑦), i.e., determines the distribution of inputs as a function of their
classes. This approach is usually seen in other works as a baseline
method for avoiding catastrophic forgetting. However, it presents some
issues, such as scalability and computational efficiency when trying to
learn several tasks. [
144
] introduces a new technique based on EWC
which partially solves those issues. Similarly, [
145
] also consider the
conditional probability 𝑃 (𝑥
|𝑦), but in this case they use a Laplacian
approximation to reduce the computational costs involved.
Concerning the experimental results, we find the same problem
of having very different datasets (see
Table 5
), making it difficult

---

Information Fusion 88 (2022) 263–280
273
M.F. Criado et al.
Table 5
Summary of the datasets employed in the works presented in Section
5.1
. Asterisks
indicate that the datasets have been modified in particular ways, making it impossible
to fairly compare each other.
Article
Datasets used in experiments
[
140
]
MNIST* + CIFAR-10*;
CUBS
[
141
]
MNIST + SVHN
[
142
]
MNIST*
[
143
]
MNIST*
[
145
]
MNIST* + SVHN + CIFAR-10