Non-iid data and Continual Learning processes in Federated Learning: a long road ahead

CRediT authorship contribution statement
Marcos F. Criado: Formal analysis, Investigation, Conceptualiza-
tion, Software, Visualization, Data presentation, Validation, Writing –
original draft.
Fernando E. Casado: Formal analysis, Investigation,
Conceptualization, Software, Writing – review & editing, Visualization,
Data presentation.
Roberto Iglesias: Supervision, Funding acquisition.
Carlos V. Regueiro: Supervision, Funding acquisition. Senén Barro:
Supervision, Funding acquisition, Project administration.
Declaration of competing interest
The authors declare that they have no known competing finan-
cial interests or personal relationships that could have appeared to
influence the work reported in this paper.

---

Information Fusion 88 (2022) 263–280
278
M.F. Criado et al.
Acknowledgements
This work has received financial support from AEI/FEDER (EU)
grant number PID2020-119367RB-I00. It has also been supported by
the Xunta de Galicia - Consellería de Cultura, Educación e Univer-
sidade (Centros de investigación de Galicia accreditation 2019–2022
ED431G-2019/04 and ED431G2019/01, and Reference Competitive
Groups accreditation 2021–2024, ED431C 2018/29, ED431F2018/02
and ED431C 2021/30) and the European Union (European Regional
Development Fund - ERDF). Finally, it has also been funded by the Min-
isterio de Universidades of Spain in the FPU 2017 program
(FPU17/04154).
References
[1] J. Konečn`y, B. McMahan, D. Ramage, Federated optimization: Distributed
optimization beyond the datacenter, 2015, arXiv preprint
arXiv:1511.03575
.
[2]
B. McMahan, E. Moore, D. Ramage, S. Hampson, B.A. y Arcas, Communication-
efficient learning of deep networks from decentralized data, in: Artificial
Intelligence and Statistics, PMLR, 2017, pp. 1273–1282.
[3]
W.Y.B. Lim, N.C. Luong, D.T. Hoang, Y. Jiao, Y.-C. Liang, Q. Yang, D. Niyato,
C. Miao, Federated learning in mobile edge networks: A comprehensive survey,
IEEE Commun. Surv. Tutor. 22 (3) (2020) 2031–2063.
[4]
T. Li, A.K. Sahu, A. Talwalkar, V. Smith, Federated learning: Challenges,
methods, and future directions, IEEE Signal Process. Mag. 37 (3) (2020) 50–60.
[5] Y. Zhao, M. Li, L. Lai, N. Suda, D. Civin, V. Chandra, Federated learning with
non-iid data, 2018, arXiv preprint
arXiv:1806.00582
.
[6]
G.I. Parisi, R. Kemker, J.L. Part, C. Kanan, S. Wermter, Continual lifelong
learning with neural networks: A review, Neural Netw. 113 (2019) 54–71.
[7]
J. Gama, I. Žliobait ˙e, A. Bifet, M. Pechenizkiy, A. Bouchachia, A survey on
concept drift adaptation, ACM Comput. Surv. 46 (4) (2014) 1–37.
[8]
F.E. Casado, D. Lema, M.F. Criado, R. Iglesias, C.V. Regueiro, S. Barro, Concept
drift detection and adaptation for federated and continual learning, Multimedia
Tools Appl. (2021).
[9] A. Usmanova, F. Portet, P. Lalanda, G. Vega, A distillation-based approach
integrating continual learning and federated learning for pervasive services,
2021, arXiv preprint
arXiv:2109.04197
.
[10] T.J. Park, K. Kumatani, D. Dimitriadis, Tackling dynamics in federated incre-
mental learning with variational embedding rehearsal, 2021, arXiv preprint
arXiv:2110.09695
.
[11] H.B. McMahan, E. Moore, D. Ramage, B. Aguera-Arcas, Federated learning
of deep networks using model averaging, 2016, arXiv Preprint
arXiv:1602.
05629v1
.
[12]
M. Servetnyk, C.C. Fung, Z. Han, Unsupervised federated learning for un-
balanced data, in: GLOBECOM 2020-2020 IEEE Global Communications
Conference, IEEE, 2020, pp. 1–6.
[13]
E. Tzinis, J. Casebeer, Z. Wang, P. Smaragdis, Separate but together: Unsuper-
vised federated learning for speech enhancement from non-IID data, in: 2021
IEEE Workshop on Applications of Signal Processing to Audio and Acoustics,
WASPAA, IEEE, 2021, pp. 46–50.
[14]
B. Custers, A.M. Sears, F. Dechesne, I. Georgieva, T. Tani, S. van der Hof, EU
Personal Data Protection in Policy and Practice, Springer, 2019.
[15]
B.M. Gaff, H.E. Sussman, J. Geetter, Privacy and big data, Computer 47 (6)
(2014) 7–9.
[16] L. Lyu, H. Yu, Q. Yang, Threats to federated learning: A survey, 2020, arXiv
preprint
arXiv:2003.02133
.
[17]
S. Truex, N. Baracaldo, A. Anwar, T. Steinke, H. Ludwig, R. Zhang, Y. Zhou,
A hybrid approach to privacy-preserving federated learning, in: Proceedings of
the 12th ACM Workshop on Artificial Intelligence and Security, 2019, pp. 1–11.
[18]
Z. Wang, M. Song, Z. Zhang, Y. Song, Q. Wang, H. Qi, Beyond inferring class
representatives: User-level privacy leakage from federated learning, in: IEEE
INFOCOM 2019-IEEE Conference on Computer Communications, IEEE, 2019,
pp. 2512–2520.
[19]
M. Naehrig, K. Lauter, V. Vaikuntanathan, Can homomorphic encryption be
practical? in: Proceedings of the 3rd ACM Workshop on Cloud Computing
Security Workshop, 2011, pp. 113–124.
[20]
L.J. Aslett, P.M. Esperança, C.C. Holmes, A review of homomorphic encryption
and software tools for encrypted statistical machine learning, Stat 1050 (2015)
26.
[21]
K. Wei, J. Li, M. Ding, C. Ma, H.H. Yang, F. Farokhi, S. Jin, T.Q. Quek, H.V.
Poor, Federated learning with differential privacy: Algorithms and performance
analysis, IEEE Trans. Inf. Forensics Secur. 15 (2020) 3454–3469.
[22] R.C. Geyer, T. Klein, M. Nabi, Differentially private federated learning: A client
level perspective, 2017, arXiv preprint
arXiv:1712.07557
.
[23]
C. Zhao, S. Zhao, M. Zhao, Z. Chen, C.-Z. Gao, H. Li, Y.-a. Tan, Secure multi-