Non-iid data and Continual Learning processes in Federated Learning: a long road ahead

Scenario A. Temporal baseline. The first scenario we examine
is the baseline. In this scenario, each client owns 1200 samples from
each of the 5 domains, and they are shuffled so the domains are all
mixed together. This situation is totally IID, since each client is going
to perceive, in each training round, 800 samples that represent the 5
domains. As illustrated in
8(a)
and
8(b)
, in this scenario both FedAvg
and CDA-FedAvg perform well, reaching an accuracy of 84% in both
cases. They perform worse that in the Spatial baseline,
Figs. 7(a)
and
7(b)
, because of the way they are processing the data and the limitation
of 5000 data samples.
Scenario B. Virtual drift. This other scenario presents virtual drifts
in all of the clients simultaneously. Each of them has 1200 samples from
each domain, but in this case they are not shuffled, i.e., the first 1200
samples are from the MNIST dataset, the next 1200 are from the SVHN
dataset, and so on. The results in this case show that FedAvg is seriously
affected by this kind of data heterogeneity (see
Fig. 8(c)
), lowering
its accuracy to 48%. On the other hand, CDA-FedAvg can handle this
situation (see
Fig. 8(d)
), achieving an accuracy of 79%.
7. Challenges and future directions
Along this review, we have discussed the different possible causes
of data heterogeneity, as well as the most common and remarkable
strategies developed so far to face it. Some of those strategies are
already designed and implemented in the FL framework, while some
others seem promising, but at the moment are only conceived in
centralized settings. At the same time, we have addressed the necessity
of considering time-evolving methods for real-life federated problems.
Some works are aware of this kind of issue, but nowadays this area of
research is much less studied than the one regarding non-IID data.
Concerning the non-IID data, there are some important existing
problems. One of the biggest ones is that most of the strategies designed
to tackle non-IID data do not specify what kind of non-IID data source
they work with. See, for instance, works presented in Sections
3.2
and
3.3
. Hence, when trying to apply some method for a real-life problem,
it is unclear to determine which ones are useful, or if some of them
are more appropriate than others. Also, the fact that a lots of works
claim to deal with non-IID data leads to the thinking that there are a
lot of different techniques in the current literature to solve non-IID data
problems, but the reality is that some kinds of heterogeneity are still
barely studied.
Nowadays, personalization strategies (Section
3.2
) are gaining a
lot of importance in FL. These methods are aware of the possibility
of having clients that need their own outputs for their data. On the
contrary, most of the current strategies in the literature assume that

---

Information Fusion 88 (2022) 263–280
276
M.F. Criado et al.