Non-iid data and Continual Learning processes in Federated Learning: a long road ahead

Fig. 7. Performances of FedAvg and FedProx in the different Spatial non-IID Scenarios. The black thick line represents the global model accuracy, whereas the other ones represent
the accuracy achieved by the model of each client.

---

Information Fusion 88 (2022) 263–280
277
M.F. Criado et al.
Fig. 8. Performances of FedAvg and CDA-FedAvg in the different Temporal non-IID
Scenarios. The black thick line represents the global model accuracy, whereas the other
ones represent the accuracy of the model of each client.
the same input data belonging to different participants must be replied
to with the same output. As we saw in Sections
3.3.2
and
5.2
, this is
not always true.
Moreover, some of the proposed techniques for handling spatial
non-IID data are already conceived in a FL framework, such as Gener-
ative Adversarial Networks. Nonetheless, some strategies are yet to be
deployed in FL settings. Is the case of Domain Factorization methods
and Dissimilarity methods. Regarding Domain Factorization, the main
challenge when trying to perform these strategies in a federated set-
ting is that each participant would construct a different input space
factorization, and it is necessary to establish a common ground for
all of them. Concerning Dissimilarity methods, the main challenge is
establishing a common metric that generalizes the domain variability
of all participants.
Concerning the temporal dimension, it is important to notice that
the current strategies of drift detection and adaptation are mostly
deployed in centralized settings. However, we selected the strategies
they employ because they could be easily adapted to federated settings.
For instance, in a federated environment, each of the participants could
perform a rehearsal technique to avoid forgetting previous concepts.
Another possibility, considering Regularization Methods, is that clients
who perceive different domains train particular neurons of the network,
leading to a faster domain adaptation. Nonetheless, some difficulties
can arise in these situations:
• Clients may experience drifts at different timestamps, and thus
they present different input domains simultaneously. This can
lead to very different updates for the global model, and prevent
the global model from converging.
• Clients may experience similar drifts in their data without being
aware of it, and mechanisms that provide this information would
facilitate achieving a better model faster.
In addition to the inherent difficulties of considering heterogeneous
data, the lack of specific datasets makes it harder to test the quality of
the methods under these settings. At the present moment, each work
employs different datasets to test their methods, and in the majority
of cases, they need to modify those datasets to create the desired data
distributions (see
Tables 2
,
3
,
5
and
6
). Under these circumstances, it
is impossible to fairly compare those methods. It is necessary to have
a common benchmark dataset, with standard representations of some
types of heterogeneous data. This would allow to contrast the current
and future strategies over a common set of data and properly compare
them.