Non-iid data and Continual Learning processes in Federated Learning: a long road ahead

participants sending miss-labelled, data-poisoned updates to prevent
the model convergence [
28
]. Apart from adversarial attacks, theoretical
and experimental analysis have been carried out on gradient-descent
approaches assuming a convex objective loss function [
29
,
30
].
Despite being a novel paradigm of ML, FL has attracted a lot of
attention. Given the vast amount of research done in the field in
the past few years, it became important to keep track of the most
remarkable advances. For that reason, it is possible to find reviews on
FL that focus on specific issues and show the advances achieved, as
well as the remaining open problems. For instance, one of the biggest
challenges we already discussed is keeping the clients privacy. This
problem is widely studied in [
31
], where the authors focus not only
on privacy guarantees of the federated settings but also on preventing
malicious attacks conducted to steal pieces of information. Another in-
teresting review is [
4
], which concentrates its attention on the problem
of communications and the different approaches conceived to perform
it. Both of these works also acknowledge the problem of statistical
heterogeneity of the data, showing their concerns and exposing the
difficulties of working with it. However, little attention is paid to the

---

Information Fusion 88 (2022) 263–280
265
M.F. Criado et al.
actual methods that face this challenge, their advantages and their
drawbacks. In this paper, we will focus on those matters.
Statistical heterogeneity of the data is a major issue that needs to
be faced in order to construct and deploy a FL model. A bunch of
devices training over different local datasets may produce updates in
a wide range, thus leading to an undesired result after aggregation, or
even worse, impeding the model to converge at all. To prevent these
obstacles a common assumption in decentralized learning is considering
that the data of the different participants is Independent and Identically
Distributed (IID) [
3
,
5
,
31
]. This means that data collected by different