统计与数据科学学院 吴彤 报道
近期，我院周兴才教授和硕士生常乐以及校外学者合作在分布式学习方面取得重要的结果。所撰写的论文被人工智能领域SCI权威期刊IEEE TNNLS录用，论文题目为“Communication-Efficient Nonconvex Federated Learning With Error Feedback for Uplink and Downlink”。 IEEE TNNLS英文全称：IEEE Transactions on Neural Networks and Learning System，科学引文索引影响因子为10.4，中科院分区一区，以及汤姆森路透社分区Q1区的顶级期刊。
面对大规模的在线学习，对复杂模型架构的依赖往往导致非凸分布式优化，这比凸问题更具挑战性。在线招募的工作机器，如手机、笔记本电脑和台式电脑，通常上行链路带宽比下行链路更窄。在双向通信高效的分布式学习中，本文设计了一种新的延迟聚合的LAG 规则以便自适应地避免通信；新的 LAG 规则可以降低通信成本的同时不会导致无法容忍的误差。结合马尔可夫压缩和新 LAG 规则，我们又提出了新颖的 EF- LAG 算法 (带有新 LAG 的误差反馈 EF21) 和 BiEF-LAG 算法 (带有新 LAG 的双向 EF21) 。EF- LAG 降低上行链路的通信成本; BiEF-LAG 降低上行链路和下行链路的双向通信成本。这两种分布式算法可自然适用于分布式异构数据和非凸学习。理论上，在一般假设下获得与EF21 相同的快速率。
