Non-iid data and Continual Learning processes in Federated Learning: a long road ahead

party computation: theory, practice and applications, Inform. Sci. 476 (2019)
357–372.
[24]
Y. Liu, Y. Kang, C. Xing, T. Chen, Q. Yang, A secure federated transfer learning
framework, IEEE Intell. Syst. 35 (4) (2020) 70–82.
[25] F.E. Casado, D. Lema, R. Iglesias, C.V. Regueiro, S. Barro, Federated and
continual learning for classification tasks in a society of devices, 2020, arXiv
preprint
arXiv:2006.07129
.
[26]
Y. Chen, Y. Ning, M. Slawski, H. Rangwala, Asynchronous online federated
learning for edge devices with non-iid data, in: 2020 IEEE International
Conference on Big Data (Big Data), IEEE, 2020, pp. 15–24.
[27] X. Li, Z. Qu, B. Tang, Z. Lu, Stragglers are not disaster: A hybrid federated
learning algorithm with delayed gradients, 2021, arXiv preprint
arXiv:2102.
06329
.
[28] N. Rodríguez-Barroso, E. Martínez-Cámara, M. Luzón, G.G. Seco, M.A. Vegan-
zones, F. Herrera, Dynamic federated learning model for identifying adversarial
clients, 2020, arXiv preprint
arXiv:2007.15030
.
[29]
S. Wang, T. Tuor, T. Salonidis, K.K. Leung, C. Makaya, T. He, K. Chan, Adaptive
federated learning in resource constrained edge computing systems, IEEE J. Sel.
Areas Commun. 37 (6) (2019) 1205–1221.
[30]
C.T. Dinh, N.H. Tran, M.N. Nguyen, C.S. Hong, W. Bao, A.Y. Zomaya, V.
Gramoli, Federated learning over wireless networks: Convergence analysis and
resource allocation, IEEE/ACM Trans. Netw. (2020).
[31] P. Kairouz, H.B. McMahan, B. Avent, A. Bellet, M. Bennis, A.N. Bhagoji, K.
Bonawitz, Z. Charles, G. Cormode, R. Cummings, et al., Advances and open
problems in federated learning, 2019, arXiv preprint
arXiv:1912.04977
.
[32] S. Caldas, S.M.K. Duddu, P. Wu, T. Li, J. Konečn`y, H.B. McMahan, V. Smith,
A. Talwalkar, Leaf: A benchmark for federated settings, 2018, arXiv preprint
arXiv:1812.01097
.
[33]
Y. LeCun, L. Bottou, Y. Bengio, P. Haffner, Gradient-based learning applied to
document recognition, Proc. IEEE 86 (11) (1998) 2278–2324.
[34]
Y. Ganin, E. Ustinova, H. Ajakan, P. Germain, H. Larochelle, F. Laviolette, M.
Marchand, V. Lempitsky, Domain-adversarial training of neural networks, J.
Mach. Learn. Res. 17 (1) (2016) 2030–2096.
[35] N. Mu, J. Gilmer, Mnist-c: A robustness benchmark for computer vision, 2019,
arXiv preprint
arXiv:1906.02337
.
[36]
H. Wang, Z. Kaplan, D. Niu, B. Li, Optimizing federated learning on non-iid
data with reinforcement learning, in: IEEE INFOCOM 2020-IEEE Conference on
Computer Communications, IEEE, 2020, pp. 1698–1707.
[37]
F. Sattler, S. Wiedemann, K.-R. Müller, W. Samek, Robust and communication-
efficient federated learning from non-iid data, IEEE Trans. Neural Netw. Learn.
Syst. 31 (9) (2019) 3400–3413.
[38] X. Li, K. Huang, W. Yang, S. Wang, Z. Zhang, On the convergence of fedavg
on non-iid data, 2019, arXiv preprint
arXiv:1907.02189
.
[39] Q. Li, Y. Diao, Q. Chen, B. He, Federated learning on non-iid data silos: An
experimental study, 2021, arXiv preprint
arXiv:2102.02079
.
[40] D. Li, J. Wang, Fedmd: Heterogenous federated learning via model distillation,
2019, arXiv preprint
arXiv:1910.03581
.
[41] K. Wang, R. Mathews, C. Kiddon, H. Eichner, F. Beaufays, D. Ramage, Federated
evaluation of on-device personalization, 2019, arXiv preprint
arXiv:1910.10252
.
[42] P.P. Liang, T. Liu, L. Ziyin, N.B. Allen, R.P. Auerbach, D. Brent, R. Salakhut-
dinov, L.-P. Morency, Think locally, act globally: Federated learning with local
and global representations, 2020, arXiv preprint
arXiv:2001.01523
.
[43]
C. T. Dinh, N. Tran, J. Nguyen, Personalized federated learning with moreau
envelopes, Adv. Neural Inf. Process. Syst. 33 (2020) 21394–21405.
[44]
Z. Ma, Y. Lu, W. Li, J. Yi, S. Cui, PFedAtt: Attention-based personalized
federated learning on heterogeneous clients, in: Asian Conference on Machine
Learning, PMLR, 2021, pp. 1253–1268.
[45]
C. Finn, P. Abbeel, S. Levine, Model-agnostic meta-learning for fast adaptation
of deep networks, in: International Conference on Machine Learning, PMLR,
2017, pp. 1126–1135.
[46] A. Fallah, A. Mokhtari, A. Ozdaglar, Personalized federated learning: A
meta-learning approach, 2020, arXiv preprint
arXiv:2002.07948
.
[47]
T. Yu, T. Li, Y. Sun, S. Nanda, V. Smith, V. Sekar, S. Seshan, Learning context-
aware policies from multiple smart homes via federated multi-task learning, in:
2020 IEEE/ACM Fifth International Conference on Internet-of-Things Design
and Implementation, IoTDI, IEEE, 2020, pp. 104–115.
[48] V. Smith, C.-K. Chiang, M. Sanjabi, A. Talwalkar, Federated multi-task learning,
2017, arXiv preprint
arXiv:1705.10467
.
[49] M.G. Arivazhagan, V. Aggarwal, A.K. Singh, S. Choudhary, Federated learning
with personalization layers, 2019, arXiv preprint
arXiv:1912.00818
.
[50]
H. Nam, B. Han, Learning multi-domain convolutional neural networks for
visual tracking, in: Proceedings of the IEEE Conference on Computer Vision
and Pattern Recognition, 2016, pp. 4293–4302.
[51] F. Hanzely, P. Richtárik, Federated learning of a mixture of global and local
models, 2020, arXiv preprint
arXiv:2002.05516
.
[52] T. Li, A.K. Sahu, M. Zaheer, M. Sanjabi, A. Talwalkar, V. Smith, Federated
optimization in heterogeneous networks, 2018, arXiv preprint
arXiv:1812.
06127
.
[53] Y. Deng, M.M. Kamani, M. Mahdavi, Adaptive personalized federated learning,
2020, arXiv preprint
arXiv:2003.13461
.
[54]
N. Tajbakhsh, J.Y. Shin, S.R. Gurudu, R.T. Hurst, C.B. Kendall, M.B. Gotway, J.
Liang, Convolutional neural networks for medical image analysis: Full training
or fine tuning? IEEE Trans. Med. Imaging 35 (5) (2016) 1299–1312.

---