2023 IEEE计算智能学会暑期学校暨高峰论坛于8月24-27日在深圳南方科技大学成功召开。活动由IEEE计算智能学会深圳分会主办，南方科技大学计算机科学与工程系和斯发基斯可信自主系统研究院承办，IEEE青年分会协办，IEEE计算智能学会支持。 本次活动集聚计算智能（Computational Intelligence）相关领域最具影响力的专家学者，来自国内外的16位IEEE Fellow、7位IEEE顶刊主编，以及百余所国内外知名高校的400多位智能计算与行业应用领域的学术精英和专业人才齐聚鹏城，共同探讨计算智能领域的最新研究成果、技术创新和应用案例，旨在搭建知识、成果与人才交流互动的平台，鼓励广大青年学者，勇于科技创新，为计算智能领域注入更多新动能。 在开幕式上，IEEE Fellow、南方科技大学计算机科学与工程系系主任姚新教授和南方科技大学国际合作部副部长龙静作开幕式致辞，对活动的举办表示热烈祝贺。他们强调了计算智能的重要性和潜力，并希望通过举办暑期学校这样有意义的活动，更广泛地把科研人凝结在一起，提供国际学习交流机会，推动计算智能领域人才培养，赋能该领域在国内的学科发展与创新融合。计算机科学与工程系系主任姚新教授致辞国际合作部副部长龙静致辞 活动共持续四天，邀请了欧洲科学院院士、IEEE Fellow、IEEE CIS候任主席金耀初教授，IEEE Fellow、IEEE CIS副主席Kay Chen Tan教授，IEEE Fellow、IEEE TEVC主编Carlos A. Coello Coello 教授，IEEE Fellow张青富教授，IEEE TCDS主编唐华锦教授，IEEE Fellow、IEEE TAI主编Hussein Abbass 教授，IEEE Fellow、IEEE TNNLS主编宋永端教授，IEEE Fellow、IEEE TETCI主编张晓明教授，IEEE Fellow李晓东教授，IEEE Fellow、IEEE TFS主编伍冬睿教授，IEEE CIM 主编丁川康教授，IEEE Fellow路节教授，新西兰皇家科学院院士、IEEE Fellow张孟杰教授，德蒙福特大学杨圣祥教授，IEEE Fellow Kalyanmoy Deb教授，IEEE Fellow 林进灯教授共16位计算智能学术界泰斗开展讲座，他们分享了自己的最新成果和科研经验，为与会者带来了启发和思考，现场踊跃提问，开放交流，为国内学者提供了一个与全球顶尖科学家面对面交流与研讨的契机。讲座合集 本次活动内容丰富，除了专家讲座外，还设有圆桌论坛、实践课程、志愿者证书颁发等多形式活动。其中，圆桌论坛分别以”How to Do Impactful Research“和“How to Publish with Prestigious IEEE Journals”为主题，分别由金耀初教授和Kay Chen Tan教授主持，邀请了宋永端教授、Carlos A. Coello Coello教授、李晓东教授、张晓明教授、丁川康教授、伍冬睿教授等学术大咖共同畅谈，与现场师生进行了热烈互动。圆桌论坛实践课程颁发志愿者证书 据活动主办方介绍，本届活动是IEEE计算智能学会近几年来在中国大陆规模最大的一次学术盛宴，聚集了众多行业顶尖专家，为国内与国外计算智能同行构建了国际交流的良好渠道。活动的举办，对赋能计算智能研究领域的高质量发展以及多元化国际交流合作具有重要助推作用。南方科技大学计算机科学与工程系

近日，中国青年报社主办的2023“强国青年科学家”评选活动落下帷幕，活动共评选出了10名“强国青年科学家”，我系张殷乾教授光荣入选。张殷乾教授受邀参加颁奖仪式，分享科研经历和心路历程，并参加“弘扬科学家精神推动科技自立自强”为主题的圆桌论坛。张殷乾（右一）参加2023“强国青年科学家”颁奖仪式张殷乾（左二）参加圆桌论坛：弘扬科学家精神推动科技自立自强张殷乾教授国家级专家（青年）南方科技大学计算机科学与工程系教授，曾任美国俄亥俄州立大学终身副教授。他长期致力于计算机系统安全方向研究，曾主持美国国家科学基金等3项国家级项目。在国际顶尖会议和期刊发表论文80余篇，包括四大安全顶会论文40余篇。现任ACM Cloud Computing Security Workshop指导委员会主席以及CCF-A期刊IEEE TDSC编委，曾获美国NSF青年科学家奖，北美计算机华人学者协会明日之星奖，CCF-A会议ACM CCS时间检验奖等（该领域全球最高水平的学术奖项）, 入选全球前2%顶尖科学家榜单以及《麻省理工科技评论》中国2022年隐私计算科技创新人物。他以国家重大需求为研究方向，取得了一系列具有国际影响力的研究成果。他在2012年国际安全顶会ACM CCS发表的论文首次在多核CPU上实现了跨虚拟机的细粒度缓存侧信道攻击，实现了从0到1的突破，极大地提升了微架构侧信道安全在学术界和产业界的重要地位。对后续的云安全研究、微架构侧信道安全研究、以及近年来的瞬态执行漏洞研究都有重要的影响。他回国后致力于机密计算的研究和应用，在体系结构、系统软件、应用软件和分布式协议等多个层面开展研究工作，旨在通过机密计算技术打造一个可信、安全的跨平台执行环境架构，把计算平台的算力和信任剥离开来，让技术支撑信任，为数据流通构建安全底座。这些研究成果不仅在国际上处于领先地位，在产业应用上也有极大的价值。目前，他的研究成果已经应用到蚂蚁集团和字节跳动的机密计算平台上。可信系统安全实验室课题组合影2023“强国青年科学家”寻访活动为深入实施科教兴国战略、人才强国战略、创新驱动发展战略，弘扬科学家精神，激励青年科技人才投身高质量发展，推进青年科技工作者挑大梁、担重任、当主角，中国青年报社相关单位开展2023“强国青年科学家”寻访活动，面向全国高校、科研院所和科技创新型企业，寻访40周岁（含）以下的优秀青年科技工作者，对他们专注科研、推动科技成果转化、投身高质量发展的典型事例进行推广，为广大青少年树立新时代青年“科技明星”，引导广大青年科技工作者积极投身中国式现代化建设，实现高水平科技自立自强。最终产生了10名“强国青年科学家”和40名“强国青年科学家”提名。中青在线网址：http://news.cyol.com/gb/articles/2023-07/27/content_AjLAQpHz5a.html南方科技大学计算机科学与工程系

近日，南方科技大学计算机系3篇论文被可视化领域国际顶级会议IEEE VIS 2023录用。我系马昱欣副教授、唐博助理教授、程然副教授为指导老师。IEEE VIS（IEEE Visualization and Visual Analytics Conference）是数据可视化和人机交互领域最重要的学术会议之一，旨在为学术界和产业界搭建一个可视化和可视分析领域前沿理论、技术和应用的交流平台。该会议是中国计算机学会推荐的A类国际学术会议，今年会议有539篇投稿进入评审流程，最终录用133篇，录用率24.68%。1A Comparative Visual Analytics Framework for Evaluating Evolutionary Processes in Multi-objective OptimizationYansong Huang, Zherui Zhang, Ao Jiao, Yuxin Ma*, Ran Cheng进化多目标优化算法是用于求解有多个目标约束的优化问题的一类算法。在多目标优化领域的研究中，如何对各算法进行合理的评估和比较，仍是一项关键的课题。现有方法主要依赖数值化质量指标来量化算法性能，进而通过这些指标对不同算法的结果进行比较。然而，这种聚合性的量化指标难以全面反映算法演化过程的异同，也无法帮助用户理解作为“黑箱”模型存在的演化行为本身。近年来，可视分析方法在可解释人工智能领域得到了广泛的应用。受此启发，我们设计了一套面向进化多目标优化算法的可视分析框架，主要用于支持算法演化过程的比较分析。我们通过与演化计算领域专家合作，构建出了“算法概览——演化过程——解集细节”的多层级比较流程。框架中包含的一系列交互式可视化视图能够有效地帮助用户理解多个算法间的代际相似关系，进而探索和发现不同算法演化行为间的异同。该框架的代码实现已发布于南科大数据可视化实验室（DVA Lab）项目仓库：https://github.com/VIS-SUSTech/visual-analytics-for-emo-algorithm-comparison。图1南科大计算机系数据可视化实验室2019级本科生黄彦淞与2021级硕士生张哲瑞为论文共同第一作者，2020级本科生焦傲参与算法和系统实现工作。该论文由计算机系马昱欣老师和程然老师共同指导，马昱欣老师为通讯作者，南科大计算机系为第一单位。2QEVIS: Multi-grained Visualization of Distributed Query ExecutionQiaomu Shen, Zhengxin You, Xiao Yan, Chaozu Zhang, Ke Xu, Jianbin Qin, Dan Zeng, Bo Tang*大数据系统（如Apache Hive， Apache Spark）被国内外顶尖IT公司应用于各类大数据分析业务中。因大数据系统的复杂性，分析和优化大数据系统中分布式查询的处理性能一直是工业界和学术界的热点问题。南方科技大学数据库课题组DBGroup从2020年开始致力于通过可视分析方法，深入理解这些系统的查询执行过程，揭示大数据系统查询处理过程中存在的性能问题，从而实现系统性能优化。在IEEE VIS 2023上，DBGroup提出了多粒度可视分析系统QEVIS (Query Execution VISualization)。针对大数据系统Apache Hive，QEVIS设计并实现了多粒度（查询query  作业 job  任务 task）分析逻辑；提出了针对查询任务细粒度执行过程异常检测算法及其可视分析视图；同时通过多视图协作的方式来辅助开发人员将执行异常与导致异常的潜在原因进行关联。该系统已经在合作企业落地，其代码以及数据已开源于南方科技大学DBGroup课题组项目仓库：https://github.com/DBGroup-SUSTech/QEVIS。图2该工作第一作者为DBGroup申乔木研究助理教授，南方科技大学2022届本科生游正新（现为南方科技大学-香港理工大学联培博士生）、南方科技大学2021级硕士生张超祖参与系统设计与实现，通讯作者为唐博老师。南方科技大学斯发基斯可信自主系统研究院为第一单位。3GeoExplainer: A Visual Analytics Framework for Spatial Modeling Contextualization and Report GenerationFan Lei, Yuxin Ma*, A. Stewart Fotheringham, Elizabeth A. Mack, Ziqi Li, Mehak Sachdeva, Sarah Bardin, Ross Maciejewski地理模型常被应用于处理带有空间信息的数据推理任务中，例如 “为什么在美国总统选举中，投票偏好通常表现出强烈的空间依赖性”。这些复杂的地理数据分析任务通常依赖于高级回归建模技术（如多尺度地理加权回归，MGWR）来揭示数据中决定空间分布模式的相关因素。然而，现有方法在帮助用户理解这些回归模型的输出方面，缺乏地理空间和数据相关的上下文信息与背景知识的呈现，通常只展示基本的统计结果。针对这一问题，我们提出了GeoExplainer，一个用于辅助地理数据建模、分析和报告编写的可视分析框架。该框架受到当前可解释机器学习研究和叙述性可视化技术的启发，通过易于理解的交互式可视化方式，在地理数据分析流程的各个阶段（包括数据预处理、模型训练、预测分析等）提供解释支持。在易用性方面，该框架提供了回归建模的参数推荐和预警功能、基于模板的文本注释生成，以及基于外部知识库的上下文展示模块。数据分析师可以通过生成文字报告的方式，对模型的训练和预测结果进行总结，从而使其他相关人员能够快速理解数据分析结果。GeoExplainer的代码实现已开源：https://github.com/VADERASU/geoexplainer。 图3该工作由亚利桑那州立大学VADER实验室Ross Maciejewski教授和南科大计算机系马昱欣老师共同指导，VADER实验室博士生雷凡为论文第一作者。马昱欣老师为通讯作者。南方科技大学计算机科学与工程系

近日，南方科技大学计算机系唐博老师带领的数据库课题组在数据挖掘和知识发现领域取得一系列科研进展。该研究团队三项成果被数据挖掘和知识发现领域的顶会之首KDD 2023长文（2篇Research Track，1篇Applied Data Science Track）接收。研究内容涉及社交网络中的容量受限影响力最大化、跨越中心性的高效近似算法和高效易用的图神经网络模型推理框架等。成果一（Research Track）Capacity Constrained Influence Maximization in Social Networks影响力最大化是病毒式营销、网络监控等领域的重要问题，其旨在选择在网络中具备影响力的少数传播用户，以便最大程度地传播目标信息（例如推广活动）。然而，以往的研究忽视了用户参与活动的能力限制。以在线游戏社交网络为例，玩家的能力限制表示每个玩家只能与有限数量的朋友互动。对该场景的观察还指出，推广的最初接受者往往是选定用户的朋友而非用户本身，并且现有解决方案在计算量和解质量方面表现不佳。基于这些发现，我们提出了一个新的问题，即容量受限的影响力最大化（Capacity Constrained Influence Maximization），其旨在为每个初始接受者选择有限数量的具有影响力的朋友，从而将推广传递给更多用户。为了解决该问题，我们提出了MG-Greedy和RR-Greedy两种算法，并且进一步设计了具有良好近似比和近线性复杂度的可扩展实现RR-OPIM+。大量实验表明，RR-OPIM+ 在解质量和运行时间方面显著优于其他8种先进的解决方案。此外，我们还将RR-OPIM+部署到网络游戏场景中，显著地改善了基线算法的性能。图1.实验组 (Treatment)和对照组 (Control)分别对应RR-OPIM+和基线算法该工作的第一、第二作者分别是2019级南方科技大学-新加坡国立大学联培博士张诗奇和2020级南方科技大学本科生黄弋骞，唐博老师为通讯作者。该工作由南科大数据库课题组与腾讯公司孙嘉辰博士和林文清博士，新加坡国立大学萧小奎教授合作完成。张诗奇 (第一作者)黄弋骞 （第二作者）成果二（Research Track）Efficient Approximation Algorithms for Spanning Centrality针对给定的图G，边e的跨度中心性（SC）衡量了e对于使G连接的重要性。在实践中，SC在计算生物学、电气网络和组合优化等领域得到了广泛应用。然而，在大型图上计算所有边缘的SC（AESC）是一项极具挑战性的任务。现有的技术无法处理这样的图，因为它们要么需要昂贵的矩阵操作，要么需要采样大量的长随机游走。为了解决这些问题，本文提出了TGT和其增强版TGT+，这是两种用于AESC计算的算法，具有严格的理论近似保证。特别是，TGT通过进行精心设计的截断长度的确定性图遍历来解决先前解决方案的缺陷。TGT+在TGT的基础上进一步提高了实证效率和渐近性能，同时保持结果的质量，基于TGT与随机游走和几个附加的启发式优化方法的结合。我们使用各种真实数据集对TGT+与最近的竞争对手进行了实验评估，如下图所示，在有亿级边的数据集下，TGT+仍可在速度上快于最优的现有技术。图2. TGT+与最优现有技术运行时间的对比该工作的第一作者是南方科技大学与新加坡国立大学联培博士张诗奇，唐博老师为通讯作者。该工作由南科大数据库课题组与香港浸会大学杨任驰教授，香港科技大学唐靖教授和新加坡国立大学萧小奎教授合作完成。张诗奇 (第一作者)成果三（Applied Data Science Track）DGI: An Easy and Efficient Framework for GNN Model Evaluation现存的工作都致力于优化图神经网络（GNN）的训练，但高效的模型推理方案（即根据给定的模型计算图节点的嵌入）仍然有待解决。使用广泛采用的Node-wise方法，由于邻居爆炸问题，模型推理仍可能占端到端训练过程中90％以上的时间。Layer-wise方法通过在GNN模型中逐层进行计算从而避免邻居爆炸问题。然而，Layer-wise模型推理需要相当大的实现工作，因为用户需要手动将GNN模型分解为层，并且对于具有不同结构的GNN模型需要不同的实现。 图3. DGI的工作流程本文推出了DGI，一个易于使用且高效的GNN模型评估框架，它可以自动将GNN模型的训练代码翻译成Layer-wise推理的代码，以最小化用户的工作量。DGI适用于不同的GNN模型和推理请求（例如，计算所有或部分节点的嵌入），并支持在无法适应CPU内存的大型图上进行外部执行。在底层，DGI跟踪GNN模型的计算图，根据定制规则将计算图分成适合逐层推理的层，并通过Node Reorder和Dynamic Batch Size Control来高效地执行每个层的计算。实验结果表明，DGI在效率上与手写的layer-wise 推理实现相当，并在不同的数据集和硬件设置下一致优于Node-wise推理，速度最大可以提升三个数量级。该工作由南科大数据库课题组与AWS Shanghai AI Lab，香港中文大学James Cheng团队合作完成。第一作者尹沛骐是南科大数据库课题组2018级毕业生，该工作是其本科毕业设计内容，在晏潇老师（通讯作者）和唐博老师指导下完成。尹沛骐 (第一作者)南方科技大学计算机科学与工程系图文丨数据库课题组

近年来，随着基于人工智能技术和元宇宙的新型多媒体应用的兴起，工业界和学术界对运用多媒体技术去解决实际多媒体应用问题产生了强烈需求。为了培养交叉创新人才，南方科技大学工学院计算机科学与工程系于2020年春季学期面向计算机及相关专业本科生开设了多媒体信息处理（multimedia information processing，MIP）课程。该课程自开课以来，深受学生喜爱，连年受到学生好评，也被南科大官网的“南科课程”专栏报道。在学校和院系对教学的支持和鼓励，以及广东省教改项目的资助下，南科大计算机系刘江教授带领的iMED教学团队在《计算机教育》期刊上发表了有关对学生在环路的知识点的学习过程进行优化的教学改革论文，另有一篇有关融合ChatGPT的课程教学创新设计的教学实践论文被《软件导刊》接收。这两篇教学论文分享了南方科技大学作为新型研究型大学对创新教学方法和理念的探索与实践。课程简介多媒体信息处理课程是一门综合交叉性专业课，涵盖文本处理、音频处理、图像处理、动画处理、图形处理以及视频处理6个媒体模态的处理技术，各部分的技术和算法相互借鉴，相互支撑。自开课以来，刘江教授领导的iMED教学团队立足于南方科技大学作为新型研究型大学的定位，始终把握并强调对学生进行跨学科教育和交叉创新能力培养的教学理念。因此，课程设计的出发点是希望构建南科大学生的多媒体信息处理理论基础，并普及新的行业发展知识，给多媒体这个‘旧瓶’原浆概念勾兑最新人工智能模型和元宇宙发展的‘新酒’，满足学生科研和工作的能力建设与未来技能发展的多维度需要。授课老师刘江教授国家级专家南方科技大学计算机科学与工程系终身教授，计算机科学与临床眼科医学双博导，人工智能和医学图像领域的国际学者。刘江教授有着非常丰富的科研教学经历，先后在新加坡国立大学、新加坡南洋理工大学等多所高校从事教研工作，一直践行“让学生学到知识”为核心的iMED教学理念。刘江教授与新加坡健保集团、日本TOPCON集团、日本TOMEY集团, 中山大学中山眼科中心等国际国内知名研究机构、医疗集团和医疗器械设备厂商保持技术合作并成立联合实验室。研究领域包括：人工智能、精准医疗、眼脑联动和手术机器人。教学内容特点1.教学实践方面。为了让学生更好地掌握多媒体的知识点并理解跨模态之间的联系，授课老师采用小组学习和主动学习的授课方式，以及鼓励学生使用最新的人工智能工具如ChatGPT作为学习辅助工具。这种方式旨在让学生们学会主动地去获取知识并通过小组的方式分享自己的学习成果。在此过程中，同学们也接收到了他人的对知识点的理解，这有利于培养学生的多维思考能力。此外在授课过程中，授课老师会积极与学生沟通，掌握学生在知识学习的过程中不断细化的主动需求并动态地调整授课内容。此外，跨学科指导团队会及时跟踪学生的项目进展，引导学生主动思考和解决在项目中遇到的问题。2.课程交叉项目设计方面。多媒体信息处理课程的iMED教学团队与南科大图书馆、医学院、环境科学与工程学院、人文社科学院合作设计基于融合多媒体技术的真实世界项目，供学生选择。同时在项目指导方面，每个项目由授课老师、行业导师、课程助教组成的跨学科指导团队及时跟踪项目进展，引导学生主动思考和解决在项目中遇到的问题，也保证了项目的质量和进度。3.立德树人思政方面。课程授课内容和项目设计都体现了多媒体技术与中国传统文化（甲骨文，深圳下角山考古遗址的陶片自动拼接，三星堆文化、中国青铜器“块范法”制造技术、中国玉器）以及中国现代科技（医疗科技以及数字图书馆技术）融合的立德树人思政元素。教学方法创新鉴于多媒体涵盖的技术和算法复杂多样的特点，并考虑到选课学生的知识和专业基础，多媒体信息处理课程创新性地提出了基于主动学习的多媒体信息处理课程教学框架并引入了从“多媒体”到“真实世界融媒体”的教学实践理念，通过创新性的教学方式和来自真实世界的交叉学科项目设计，进行了一系列教学探索与实践。在教学实践中，学生、助教老师以及行业专家共同努力，把课程教学做到有趣且有实效。该教学改革成果已经正式发表于《计算机教育》期刊（论文链接请见文末）。图1. 融合主动学习理念的MIP课程教学框架最近，以ChatGPT为代表的人工智能及自然语言理解技术正在快速地影响着传统的计算机课程课堂教学模式。为应对ChatGPT及相关人工智能技术带来的挑战和机遇，南方科技大学工学院计算机科学与工程系率先在多媒体信息处理课程上开展了“ChatGPT+”驱动的课程教学创新实践与探索，旨在提升课程的教学效果和学生的学习兴趣。在实际的课程教学中，授课老师将基于多媒体文本处理的自然语言理解和人工智能的ChatGPT作为教学辅助工具，贯穿于课程理论知识教学、课程项目指导以及学生的学习能力提升培养。这种活学活用的基于“ChatGPT+”驱动的课程教学创新设计不仅有利于培养学生的交叉学科应用创新能力，也可以增强他们个人的主动学习和协作学习能力，从而增强他们在未来工作和科研中的竞争力。该教学实践成果已经被《软件导刊》正式录用。图2. “ChatGPT+”驱动的课程教学创新设计论文链接：https://mp.weixin.qq.com/s/beRxDnngUr87qCEjUqcIZA

近日，南科大计算机系6篇论文被计算机视觉国际顶会ICCV 2023（International Conference on Computer Vision）（CCF A类会议）录用。我系张建国教授和郑锋副教授为指导老师和通讯作者。ICCV是国际计算机视觉大会，由IEEE主办，是计算机视觉方向的三大顶级会议之一,代表了计算机视觉领域最新的发展方向和水平。1 Transferable Decoding with Visual Entities for Zero-Shot Image CaptioningJunjie Fei, Teng Wang, Jinrui Zhang, Zhenyu He, Chengjie Wang, Feng Zheng*微调预训练的视觉-语言模型（VLM）和大语言模型（LLM）来完成图像到文本的生成近期受到了广泛关注，但目前主流的方法在描述具有新分布的图像时，生成的文本质量往往不佳。我们观察并通过实验验证了其潜在原因：1）模态偏置，当来自于图像的指导弱时，LLM通过预训练获得的语言先验占据文本生成的主导地位。2）物体混淆，在少量下游样本上微调预训练大模型极易导致过拟合，即模型常常会将图像中不认识的物体识别并描述为训练时见过，但在图像中实际不存在的物体。基于以上观察，我们提出一种新的微调方法，即ViECap，它结合两种不同的提示词来完成可迁移的图像到文本生成任务：1）通过映射网络来从视觉特征中学习一个关注图像整体信息的软提示词。2）通过冻结的CLIP来从开放词库中检索图像中存在的物体以构建硬提示词，使模型对于超出微调数据集分布的图像更具鲁棒性。实验验证ViECap能够有效的迁移到多个图像到文本的生成场景。当迁移到未知分布的图像时，我们的模型在文本生成质量上大幅超越现存的其他同类型的工作。南科大智能与感知课题组科研助理费俊杰和2020级博士生王腾为论文共同第一作者，郑锋老师为通讯作者，南方科技大学为第一单位。2 Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-training ModelsDong Lu, Zhiqiang Wang, Teng Wang, Weili Guan, Hongchang Gao, Feng Zheng*现有的视觉语言预训练（VLP）模型在多模态任务中对对抗样本显示出了脆弱性。此外，恶意生成的对抗样本还可以用于迁移攻击其他的黑盒模型。然而，现有的研究主要集中在研究白盒攻击。在本文中，我们首次研究了现有的VLP模型的对抗迁移性。结果显示，与白盒设置中的强攻击性能相比，现有的方法的迁移能力较弱。我们发现，这种迁移性的降低主要源于多模态交互的不充分利用：（1）不同于传统的单模态学习，VLP模型高度依赖于多模态数据间的交互，（2）多模态数据具有内在的对齐性和互补性，图像与文本之间的多对多对齐关系提供了多样性引导，即同一图像可用多种自然语言描述。然而，现有方法未充分考虑多模态间的交互，无法建立跨模态对应关系，或仅使用单一的图像-文本对，限制了跨模态引导的多样性。为了提高攻击方法的对抗迁移性，我们提出了一种集合级引导攻击（Set-level Guidance Attack, SGA）方法。SGA充分利用了多模态数据间的交互，同时结合了保留对齐的数据增强和跨模态引导。实验结果显示，SGA能在多个下游视觉-语言任务上生成对抗样本，这些样本能高效迁移至不同的VLP模型。南科大计算机系2021级博士生陆东和2020级硕士生王志强为论文共同第一作者，郑锋老师为通讯作者，南科大为第一单位。3 Cross contrasting Feature Perturbation for Domain GeneralizationChenming Li，Daoan Zhang，Wenjian Huang，Jianguo Zhang*域泛化（Domain Generalization）问题旨在从训练集所属的域中学习一个鲁棒的模型，从而可以很好地泛化到未见过的目标域上。近来该领域较为热门的研究方向是通过生成不同于源域的样本或特征，使模型能从更多样化的域分布中学校到泛化性更好的表征能力。然而，这些方法很难解决生成特征或样本的语义失真问题。在本文中，我们提出了一种在线单阶段交叉对比特征扰动（CCFP）框架，通过在隐空间中生成扰动特征来模拟域偏移现象，同时约束模型在面对域偏移现象时的预测结果一致。与之前的隐空间特征合成策略不同，我们设计了具有可学习的特征扰动和语义一致性约束的模块。与之前的工作相比，我们的方法不需要使用任何生成式模型或域标签。我们在标准DomainBed基准测试上进行了大量实验，并采用严格的评估方法进行公平比较。大量的综合实验表明，我们的方法优于之前的SOTA。实验分析表明我们的方法可以缓解分布外（Out-of-Distribution）场景中的域偏移问题。南科大计算机系2021级硕士生李晨鸣为论文第一作者，张建国老师是通讯作者，南科大为第一单位。4 Strip-MLP: Efficient Token Interaction for Vision MLPGuiping Cao, Shengda Luo, Wenjian Huang, Xiangyuan Lan*, Dongmei Jiang, Yaowei Wang, Jianguo Zhang*近年来，继卷积神经网络（CNN-based）模型和Transformer-based模型之后，MLP-based模型已逐渐成为计算机视觉领域又一主流深度学习模型。Token交互是MLP-based模型的核心模块之一，主要用于对不同空间位置的token进行信息交互和信息聚合。然而，MLP-based模型存在显著的token交互困境（Token’s Interaction Dilemma），即token在空间维度上的信息交互能力会随特征空间分辨率的下降而下降，尤其在模型的深层特征中，特征图将下采样至更小的尺寸，严重降低了模型的表达能力。针对以上问题，我们提出了一种名为Stirp-MLP的新模型，以提升token的交互效率和能力。我们创新提出了一种新型MLP范式：Strip MLP layer，该网络层允许每行（或每列）的token对相邻行（或列）的token产生特异性的贡献，从而提升token交互能力。基于该网络层，我们分别提出了一个级联分组带状混合模块（CGSMM）和局部带状混合模块（LSMM），用于解决因特征分辨率减小而引起的模型性能降低问题，以及提升模型的局部区域信息聚合能力。实验结果表明，Strip-MLP具有更高的模型精度和效率，在小数据集显著优于已有MLP-based、CNN-based、Transformer-based模型。在基准大数据集中，具有与其他SOTA模型相当的精度，同时在模型参数量和计算复杂度具有显著的优势，可作为基础视觉模型应用于下游任务中，应用前景广泛。2021级南方科技大学-鹏城实验室联培博士生曹桂平为论文第一作者，我系张建国老师和鹏城实验室蓝湘源老师为通讯作者，南科大为第一作者单位。5 Knowledge-Aware Prompt Tuning for Generalizable Vision-Language ModelsBaoshuo Kan, Teng Wang, Wenpeng Lu*, Xiantong Zhen, Weili Guan and Feng Zheng*预训练的视觉-语言模型（例如CLIP）结合手动设计的提示，在迁移学习方面展示出强大的能力。最近，可学习的提示实现了最先进的性能，但往往容易过拟合于已见类别，难以泛化到未见类别。针对这个问题，本文提出了一种面向视觉-语言模型的知识感知的提示方法（KAPT）。KAPT 为文本编码器设计了两种互补类型的知识感知提示，以利用与类别相关的外部知识的独特特征。离散提示从物体类别的描述中提取关键信息，而学习得到的连续提示则捕捉整体上下文。KAPT还为视觉编码器设计了一个适应头，以聚合显著的注意力视觉线索，从而建立具有区分性和任务感知的视觉表示。在11个广泛使用的基准数据集上进行了大量实验，结果验证了KAPT在小样本图像分类方面的有效性，特别是在泛化到未见类别方面。南科大智能与感知课题组访问学生阚保硕和2020级博士生王腾为共同第一作者，郑锋老师与鹿文鹏老师为通讯作者，齐鲁工业大学为第一单位。6 Learning Cross-Modal Affinity for Referring Video Object Segmentation Targeting Limited SamplesGuanghui Li, Mingqi Gao, Heng Liu*, Xiantong Zhen, Feng Zheng*指代式视频目标分割（RVOS）是在自然语言的引导下，实现对视频中感兴趣目标的分割与跟踪的任务。由于用户友好的交互方式，其在视频编辑相关领域中具有广泛应用。近年来，主流的RVOS方法实现了出色的性能，但由于依赖充分的视觉-语言数据标注，难以在少量样本的场景下获得理想的结果，因而限制了其在现实任务中的应用。在本文中，我们提出了一种简单有效的模型(Cross-Modal Affinity，CMA)提升对少样本RVOS的准确性。通过在少量样本中建立跨模态的特征关联，CMA能够快速学习新的视觉语言对应以适应不同的任务场景。为了推进样本有限RVOS领域的研究，我们在已有视频目标分割数据集的基础上，建立了少样本RVOS基准数据集，Mini-Ref-YouTube-VOS和Mini-Ref-SAIL-VOS，在场景，语言，特征空间等方面涵盖多样的数据样本。我们的实验表明，相比于已有的少样本学习方案，提出的CMA能够更精准的学习样本中的视觉语言对应，实现对不同场景的快速适应。南科大视觉智能与感知课题组访问研究生李光辉和我系2019级博士生高明琦为共同第一作者，郑锋老师与刘恒老师为通讯作者，安徽工业大学为第一单位。