Non-iid data and Continual Learning processes in Federated Learning: a long road ahead

6. Experiments
In order to solidly establish that the restrictions presented in Sec-
tion
5.3
are essential, and that the corresponding heterogeneity could
not be handled without them, in this section we present several exper-
iments. We aim to illustrate how the different types of non-IID data
deteriorate the models obtained and decreases their performances. We
divide our experiments in two groups, the ones that present spatial
non-IID data (Section
6.1
) and those that present temporal non-IID data
(Section
6.2
).
For all of the experiments we employed the Digit-five dataset, which
includes MNIST, MNIST-M, SVHN, USPS and Synthetic [
79
], all gath-
ered. We employ this one because the input images present lots of
different aspects, and hence each of the datasets can represent a dif-
ferent domain. This way we avoid making our own modifications into
𝑃
(𝑥)
to get non-IID data, both among the participants and over time.
We restricted the data in each of the 5 domains to 60,000 samples,

---

Information Fusion 88 (2022) 263–280
275
M.F. Criado et al.
so we have a total of 300,000 patterns. We distributed them across 50
clients, so each of them owns a total of 6000 data samples.
We performed experiments in two different scenarios, one that
presents spatial non-IID data and one that presents temporal non-
IID data. In each of them, some particularities about the problem
setting and the data processing must differ to properly represent each
situation, so further details are explained in Sections
6.1
and
6.2
. The
model architecture employed was the same in all of the experiments,
and consists of a simple Convolutional Neural Network (CNN) with 4
convolutional layers followed by 3 dense layers. In addition, we have
ran each experiment multiple times to make sure the results were
statistically significant and no artefacts had been produced.
6.1. Spatial non-IID scenarios
In this scenario, data varies across clients, but remains the same
along time. To achieve this kind of heterogeneity, we present 4 different
realistic cases that help to understand how the data distributions across
clients affects the performance of some FL models. For our experiments
we selected two different algorithms, FedAvg and FedProx. Recall that
FedProx
[
52
] is a method designed to deal with changes in 𝑃 (𝑥) across
clients. In all of the experiments, we selected 35 clients for the training
process, and the data from the rest of them (15 clients) was employed
to perform the testing of the models obtained.