以用户为中心的联邦学习：在个性化和无线资源之间进行权衡

​

User-Centric Federated Learning: Trading off Wireless Resources for
Personalization

解决问题：该论文旨在解决联邦学习系统中客户端的统计异质性问题，该问题会增加算法的收敛时间并降低泛化性能，导致通信开销大但模型表现不佳。该论文提出了一种基于用户中心聚合规则的解决方案，可在不违反联邦学习隐私约束的情况下，为每个客户端生成个性化模型。

关键思路：该论文的关键思路是设计基于可用梯度信息的用户中心聚合规则，以产生每个FL客户端的个性化模型，从而解决统计异质性问题。该论文的创新之处在于，提出了一种用户聚类的通信高效变体，可极大地增强其在通信受限系统中的适用性。

其他亮点：该论文的实验结果表明，该算法在平均准确性、最差节点性能和训练通信开销方面优于流行的个性化FL基线。该论文还提供了开源代码和使用的数据集，值得进一步研究。

关于作者：Mohamad Mestoukirdi、Matteo Zecchin、David Gesbert和Qianrui Li是本文的主要作者。他们分别来自法国电信巴黎高科、意大利的特伦托大学和法国国家科学研究中心。他们之前的代表作包括Mohamad Mestoukirdi的“Distributed Learning for Federated Networks with Non-IID Data”和David Gesbert的“Massive MIMO: Fundamentals and System Designs”。

相关研究：近期的相关研究包括“Federated Learning with Non-IID Data: A Semi-Supervised Approach”（作者：Yifei Yuan、Ji Liu、Jian Peng，机构：University of California, Berkeley）和“Federated Learning with Heterogeneous Data via Variational Continual Learning”（作者：Jian Kang、Jiannong Cao、Jie Wu，机构：Hong Kong Polytechnic University）。

论文摘要：本文研究了联邦学习（FL）系统中客户端的统计异质性如何影响算法收敛时间和泛化性能，从而导致通信开销大而模型表现差的问题。为了解决这些问题，而不违反FL的隐私约束，个性化FL方法必须将统计上相似的客户端耦合在一起，以保证隐私保护的传输。本文设计了基于可用梯度信息的用户中心聚合规则，能够为每个FL客户端生成个性化模型。所提出的聚合规则受加权聚合经验风险最小化的上界启发。其次，我们基于用户聚类推导出一种通信效率变体，极大地增强了其在通信受限系统中的适用性。我们的算法在平均准确性、最差节点性能和训练通信开销方面优于流行的个性化FL基线。

​Read More