近日，南方科技大学计算机科学与工程系助理教授余剑峤课题组在基于隐私计算的智慧交通领域取得一系列科研进展，其中两篇论文于同一日被相关领域国际顶级期刊IEEE Internet of Things Journal接收。

01

保护隐私的交通模式识别是智能交通系统的关键挑战之一。随着联邦学习（Federated Learning）的兴起，基于众包的联邦学习已经成为一个有具有成本效益的训练解决方案，通过分布式的方法在不暴露用户的数据隐私的情况下训练强大的交通模式分类器。然而，现有的交通模式识别方法在很大程度上依赖于大量有标识的交通模式标签，这在真实世界通常是难以实现的。虽然近年来众多的半监督研究试图通过给无标签的数据分配伪标签（Pseudo Label）来解决这个问题，但当涉及无标签数据量较大时，这种做法往往会降低分类性能。

针对此，余剑峤课题组发表在物联网领域顶级期刊IEEE Internet of Things Journal上的文章以“Towards Crowdsourced Transportation Mode Identification: A Semi-Supervised Federated Learning Approach”为题，提出了一种用于交通模式识别的半监督联邦学习方案（MTSSFL）。

该论文的第一作者为南科大研究助理张晨涵，余剑峤助理教授为通讯作者，南科大三年级硕士研究生朱元绍，南科大与悉尼科技大学联培博士研究生Christos Markos以及悉尼科技大学余水教授为论文合作者。南科大为论文第一通讯单位。

该方案包含一个新颖的半监督联邦学习框架和一个基于集群学习（Ensemble Learning）的深度神经网络，在不依赖于大量标记可用的数据的同时，实现了高准确度和隐私保护的众包交通模式识别。

该算法在联邦学习的训练中引入了一种一致性更新算法（Consistency-updating），将全局模型插入到只有未标注数据的局部模型的梯度更新中，以改善其训练效果。此外，其设计了一个新颖的参数聚合机制（ Mean-teacher-averaging），其可以在不需要额外训练的条件下进一步提高全局模型的交通模式识别准确度。与传统方法相比，该方案可以用较少的训练开销达到较高的准确性，同时也满足联邦学习的隐私保护的约束。

图1. 基于集群学习的交通模式识别模型

图2. 半监督联邦学习框架

论文链接：https://ieeexplore.ieee.org/document/9632695/

02

联邦学习在大规模物联网传感器数据的交通预测任务中被广泛采用，因为其去中心化的特性使数据提供者的隐私得以保护。然而，当在联邦学习系统中采用基于深度学习的交通预测器时，由于深度学习模型含有大量的参数，现有的联邦学习框架在传输这些模型的参数更新时面临着通信开销过大的问题。

课题组发表在物联网领域顶级期刊IEEE Internet of Things Journal上发表了题为 “A Communication-Efficient Federated Learning Scheme for IoT-Based Traffic Forecasting”的论文。

该论文的第一作者为南科大研究助理张晨涵，余剑峤助理教授为通讯作者，悉尼科技大学研究员崔磊以及悉尼科技大学余水教授为论文合作者。南科大为论文第一通讯单位。

该论文提出了一个新颖且实用的联邦学习方案（CTFed）来解决上述问题。所提出的方案采用了分而治之（Divide et Impera）的策略，根据通过预训练和参数降维得到的客户的本地模型参数之间的相似性，将客户进行聚类。其次，通过整合粒子群优化（Particle Swarm Optimization）算法，该方案设计了一个两步法来更新本地模型。所提出的方案使得每个集群中只需有一个有代表性的本地模型更新被上传到中央服务器，从而大大减少了联邦学习中模型更新传输的通信开销。此外，该方案正交于主流的基于梯度压缩或稀疏化的方法，因此可以进一步协作优化通信开销。

实验结果表明，所提出的方案具有出色的训练效率、准确的预测性能和对不稳定网络环境的稳健性。所提出的方案作为一个通用的分布式训练方案，有望应用于解决其他研究和工业问题。

图3. 通信高效的联邦学习方案

论文链接：https://ieeexplore.ieee.org/document/9634121/