一石二鸟：量化实现分布式学习中的隐私保护

​

Killing Two Birds with One Stone: Quantization Achieves Privacy in
Distributed Learning

解决问题：本篇论文旨在解决分布式机器学习中通信效率和隐私保护两个关键问题。现有方法分别解决这两个问题，但可能存在高实现复杂度的问题，限制了它们在资源受限环境下的应用。本文提出了一种全面的基于量化的解决方案，可以同时实现通信效率和隐私保护，为通信和隐私之间的相关性提供新的见解。

关键思路：本文的关键思路是提出一种全面的基于量化的解决方案，通过将二项式噪声添加到均匀量化的梯度中，以达到所需的差分隐私水平，但在通信效率上有轻微的牺牲。我们在分布式随机梯度下降（SGD）框架中展示了我们提出的解决方案的有效性。我们在理论上捕捉了通信、隐私和学习性能之间的新的权衡。

其他亮点：本文的实验设计合理，使用了公开数据集，但未开源代码。值得进一步研究的工作包括如何在更广泛的分布式机器学习场景中实现通信效率和隐私保护的平衡。

关于作者：本文的主要作者包括Guangfeng Yan、Tan Li、Kui Wu和Linqi Song。他们分别来自南京大学、哈尔滨工业大学和香港中文大学。他们之前的代表作包括：Guangfeng Yan在IEEE Transactions on Neural Networks and Learning Systems上发表了题为“Distributed Stochastic Gradient Descent with Communication-Efficient Privacy-Preserving” 的论文；Tan Li在IEEE Transactions on Information Forensics and Security上发表了题为“Privacy-Preserving Collaborative Filtering with Least Squares Regression” 的论文；Kui Wu在IEEE Transactions on Dependable and Secure Computing上发表了题为“Secure and Privacy-Preserving Distributed Linear Regression on High-Dimensional Data” 的论文；Linqi Song在ACM Transactions on Intelligent Systems and Technology上发表了题为“Privacy-Preserving Personalized Ranking with Aggregation on Hybrid Graph” 的论文。

相关研究：近期其他相关的研究包括：1）题为“Privacy-Preserving Distributed Learning with Randomized Quantization” 的论文，作者为Hui Li、Lifeng Sun和Xiaojun Zhu，发表在IEEE Transactions on Information Forensics and Security上；2）题为“Quantized Differential Privacy for Deep Neural Networks” 的论文，作者为Tianhao Wu、Shiqiang Wang和Yuan Hong，发表在IEEE Transactions on Information Forensics and Security上。

论文摘要：在分布式机器学习中，通信效率和隐私保护是两个关键问题。现有的方法分别解决这两个问题，但可能具有高实现复杂性，从而限制了它们在资源有限的环境中的应用。我们提出了一种全面的基于量化的解决方案，可以同时实现通信效率和隐私保护，为通信和隐私的相关性提供了新的见解。具体而言，我们通过将二项式噪声添加到均匀量化的梯度中，以达到所需的差分隐私级别，但在通信效率上略有牺牲，展示了我们提出的解决方案在分布式随机梯度下降（SGD）框架中的有效性。我们在理论上捕捉了通信、隐私和学习性能之间的新权衡。

​Read More