© 2022 All Rights Reserved.粤ICP备14051456号
导言:本成果已被Medical Image Computing and Computer Assisted Intervention (MICCAI) 2024会议接收,MICCAI作为医学图像领域的顶级会议,其收录的论文代表了该领域的前沿技术和创新思维。脊柱侧弯是一种影响青少年身体和生活质量的复杂疾病。早期诊断对于有效治疗至关重要,但传统的诊断方法依赖于临床检查和放射学检查,这些方法不仅需要专业的临床知识,还涉及到辐射暴露,限制了其在早期筛查中的广泛应用。为了解决这一问题,我们团队开发了一种基于步态分析的非侵入性脊柱侧弯分类方法,这一创新技术有望彻底改变脊柱侧弯的筛查实践。图1. 对Scoliosis1K数据集中(a)positive、(b)neutral、(c)negative样本的可视化。图2. 提出的pipeline: 首先,在整个视频中跟踪参与者,并将非参与者实体(如临床医生)排除在外。然后,对参与者的轮廓进行分割。最后,ScoNet-MT根据步态模式对脊柱侧弯进行分类。该研究工作提出了Scoliosis1K,这是首个为脊柱侧弯分类量身定制的大规模公共数据集,涵盖了超过一千名青少年个体的行走视频数据。利用这一数据集,开发了基于步态分析的ScoNet和ScoNet-MT模型。与传统的X光检查相比,该方法不仅非侵入性,还保护隐私,同时能够高效地进行大规模的早期筛查。该研究证明了步态可以作为脊柱侧弯的有效生物标记物,通过深度学习和计算机视觉,该方法在诊断准确性上取得了显著的成果,为非侵入性诊断方法树立了新的标杆。未来,课题组继续扩大数据集的多样性,探索更多的生物标志物,并研究先进的时间建模技术,以进一步提高方法的准确性和实用性。课题组相信,通过不断的创新和研究,该工作将为脊柱侧弯的早期诊断和治疗提供有力的支持,特别是在资源有限的地区。结语:研究的成果令人振奋,研究团队期待它在实际应用中所带来的积极变化,通过他们的努力,可以为脊柱侧弯患者提供更好的诊断和治疗服务。同时,他们也期待与全球的研究者和医疗专家共同推进这一领域的研究和发展。论文题为Gait Patterns as Biomarkers: A Video-Based Approach for Classifying Scoliosis。该研究由南方科技大学于仕琪教授团队和安丰伟教授团队共同合作完成。该论文的共同第一作者为南科大计算机系2023级博士研究生周子睿和南科大计算机系2020级硕士研究生梁峻豪,通讯作者为我系于仕琪副教授,南方科技大学为论文第一单位。于仕琪,南方科技大学计算机科学与工程系副教授,2002年于浙江大学竺可桢学院获得计算机科学与技术学士学位,2007年于中国科学院自动化研究所获得模式识别与智能系统博士学位。他的主要研究领域是步态识别和视觉目标检测。在步态识别方面,创建的CASIA-B步态数据库目前被作为本领域的评估标准,是使用最广泛的评估库之一;所创建的OpenGait开源项目已经成为步态识别领域主要的算法评估框架。在目标检测方面,人脸检测算法被世界排名前100及多家上市公司采用,同时也被众多的中小企业广泛使用。在遥感图像处理方面获2021年度广东省科学技术奖自然科学奖二等奖。他在IEEE TPAMI、IEEE TIFS、IEEE TBIOM、PR、CVPR、AAAI、ECCV、MICCAI、IJCB等发表论文近100篇。
2024-10-10
在近日举办的IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2024 Workshop上,南方科技大学计算机科学与工程系的学生在Pixel-level Video Understanding in the Wild (PVUW)运动表达引导视频分割比赛中荣获第一名。这一成就不仅展示了我系学生在实际视频场景中的出色解决方案能力,也反映了我系在视频理解领域的深厚研究基础和持续的创新精神。图1. 挑战赛奖状赛事介绍Pixel-level Video Understanding in the Wild (PVUW)是CVPR 2024 Workshop下一个旨在推进图像分割任务向视频分割任务过渡的系列挑战赛。赛事主办方针对实际应用中更为复杂的动态视频场景,提供了一系列新的数据集和赛道,以推动图像分割任务向视频分割任务的发展。今年的PVUW挑战包括四个赛道,其中“运动表达引导视频分割”(Motion Expression guided Video Segmentation)赛道聚焦于根据描述对象动作的句子来分割视频内容中的对象,从而适应复杂环境下的视频理解需求。赛事回顾随着视频内容的复杂性日益增加,传统的视频分割技术常常难以准确识别和跟踪视频中的动态对象。特别是在长视频和复杂场景中,如何根据自然语言的描述来精确分割特定对象,一直是计算机视觉领域的一大挑战。此前的研究多聚焦于短视频或静态属性较多的视频,未能充分利用视频的时间信息,因此无法充分理解视频中的动态信息。为了应对该挑战,赛事主办方特别设计了MeViS数据集,用于研究动态场景中的视频分割任务。与以往的数据集相比,MeViS引入了新的挑战,如以动作为主导的语言表达、多个同类实例的复杂场景、一对多的文本与对象对应关系及长视频处理。参赛队伍的任务是根据给定的自然语言描述,在视频中精确识别并分割出该描述所指代的目标对象。这要求队伍不仅要理解语言中的动作描述,还要将这些描述准确地映射到视频中动态变化的视觉内容上。在本次赛事中,针对动态场景和长时间视频的难点,参赛队伍首先使用了基于transformer的时序建模技术来精确对齐视频目标与文本描述。接着,在静态数据上训练模型的基础分割能力,并利用动态场景视频数据强化模型对动作的敏感性,以实现模型对不同场景的适应能力。最后,对长视频进行帧采样并将其分割为子视频,以优化长期视频理解的效率。这些策略的综合应用使模型有效提升了动态目标的分割质量,并在该任务的通用评价指标上取得了0.5447的高分分数,排名第一。图2. 方法整体框架图图3. 挑战数据可视化结果郑锋老师、罗景南和高明琦(从左至右) 该工作由塔普智能(Tapall.ai),南方科技大学,谢菲尔德大学,华威大学共同合作完成。该工作的共同第一作者为南科大计算机系2019级博士研究生高明琦和南科大计算机系2023级硕士研究生罗景南,通讯作者为我系郑锋副教授。
2024-10-10
近日,我系2020级两名本科生王思懿和陈俊峰的研究论文被第40届国际软件维护和演化会议(ICSME 2024)的Research Track录用。ICSME(International Conference on Software Maintenance and Evolution)是全球软件维护与演化领域的旗舰学术会议,每年吸引众多来自世界各地的学者参与。该会议致力于探讨软件系统的维护、演化及其管理等方面的最新研究成果和实践经验,具有广泛的学术影响力和国际认可度。2024年ICSME大会的Research Track共收到188篇论文投稿,经过严格的审稿流程,最终录用49篇论文,录用率为26%。大会将于10月6日至11日在美国亚利桑那州弗拉格斯塔夫市举行。此次被ICSME录用的两篇论文题目分别是《Leveraging Large Vision-Language Model For Better Automatic Web GUl Testing》和《Demystifying Device-specific Compatibility lssues in Android Apps》。这两篇论文围绕软件测试与设备兼容的痛点问题,开展深入调查、提出了创新性的解决方案,展示了我系本科生在软件工程领域的科研能力。Leveraging Large Vision-Language Model For Better Automatic Web GUl Testing该论文首次将大型视觉语言模型(Large Vision-Languge Model,LVLM)应用在自动化网页测试任务中。工作的核心在于利用LVLM的场景理解能力生成高质量的测试输入,并且让LVLM理解输入控件与其他网页元素之间的逻辑关系,从而达成更高的网页探索性能表现。在基于大型真实网站的实验中,论文提出的测试方法VETL的性能较当前最先进的技术提升25%。Demystifying Device-specific Compatibility lssues in Android Apps该论文聚焦于安卓生态系统碎片化问题。研究团队观察到先前的研究主要围绕相对容易解决的设备无关API兼容性问题,而忽视了经常困扰开发人员的设备特定兼容性问题(Device-specific Compatibility lssues,简称DSC问题)。为加深对安卓应用兼容性问题的理解,团队分析了大量的DSC问题,将这些问题划分为功能失效和OEM特性(OEM指原始设备制造商,即Original Equipment Manufacturer)两大类和若干个子类,并指出了DSC问题带来的独特挑战,为后续研究工作指明方向。上述两篇论文的第一作者分别是我系2020级本科生王思懿(致新书院)和陈俊峰(致诚书院),两人是刘烨庞副教授负责的软件质量实验室(Software Quality Lab)的学生。王思懿同学的论文是她本科毕业设计的成果,在刘烨庞老师和王斯南研究助理共同指导下完成。陈俊峰同学的论文是在加拿大麦吉尔大学访问期间完成,由魏莉力(Lili Wei)助理教授和刘烨庞老师共同指导。我系一向重视本科生的教育与培养,通过多种形式鼓励与支持本科生参与科学研究,提升科研能力和创新思维,也积极与外部院校开展合作,共同开展学术研究。未来,我系将继续全力支持更多本科生投身科研,争取为计算机方向各个领域的发展做出更多的贡献。
2024-10-10
中国探月工程的进展带动了大学生对月球的兴趣,南方科技大学四位本科生—高祖卿、游俊涛、施永祺、纪可鸣在《多媒体信息处理》课程上选择了探月主题的课程项目。该课程由计算机系刘江教授授课。这四位同学与四川美术学院设计学院吕曦教授课题组的刘子豪老师合作,完成了“载人月球车增强现实显示系统”的展示。团队的学生成员高祖卿、游俊涛、纪可鸣为计算机系2021级本科生,施永棋为2020级电子系本科生。项目团队合影刘江老师,游俊涛、施永祺、高祖卿、纪可鸣同学和指导助教俞向阳(从右至左) 自2024年春季学期起,这一由本科生主导的项目团队在刘江教授、刘子豪老师以及课程助教俞向阳和龚明道的联合指导下,结合刘江教授在《多媒体信息处理》课程中讲授的核心增强现实AR理论与实践知识,将Unity和Hololens技术融合,为载人月球车的展示带来了全新的视角。该系统中,Unity被用作月球车模型创建和月球环境模拟的核心工具,MRTK技术则确保了AR标签的精准识别和互动控制的流畅性。通过Unity的实时渲染能力,用户能够借助Hololens在真实环境中与月球车模型进行深度互动,仿佛置身于月球表面。“载人月球车增强现实显示系统”以其丰富的内容和互动性吸引了众多课堂目光。系统主界面展示了月球车的详细结构和功能,用户可以深入了解每一个部件的特性和作用。此外,用户还能自主操作月球车,体验在月表移动、探索的激动与新奇。月球车展示台实机界面月球车行驶实机界面恰逢近日,中国首次在月球背面独立动态展示五星红旗,再次展示了我国航天实力的卓越与不凡。期待在不久的将来,我系学生研究成果能为我国航天事业发展添砖加瓦。 中国国家航天局6月4日公布了嫦娥六号探测器在月球背面的五星红旗展示影像
2024-10-10
人生路口继续深造还是走入社会如何找到合适的毕业方向很多同学都希望借一束“光”扫除心中困惑指引前进方向……为帮助计算机系学子做好升学就业规划,开展升学就业经验分享,计算机科学与工程系于5月16日在一教107举办了计算机系2024年春季升学就业分享会。分享会由江欣乐老师主持,分别邀请到计算机系党委书记副系主任王琦副教授,2021级硕士研究生刘佳奇同学,2020级四位本科生罗诗敏、黎宇杰、陈孙兵和陈志雄同学。分享会现场谈谈计系同学如何做职业规划王琦系党委书记、副系主任、副教授王琦老师结合往届计算机系学子的毕业去向情况,从推免保研、境外深造和就业创业三个方面为同学们提供了真切有效的建议。同时,他利用这次分享,解答了同学们在规划校外和校内保研过程中的一些担忧和疑问。境外升学申请分享罗诗敏2020级本科生分享主题:境外升学申请分享导师:唐博老师毕业去向:美国西北大学 全奖直博罗诗敏同学结合自身和组内同学的申请经历,详细地介绍了境外升学申请的时间线,以及申请阶段中暑研、准备语言成绩、准备文书、找心仪导师、择校和准备面试各个阶段的注意事项,并回答了同学们在准备境外升学过程中的一些常见疑问。就业准备工作分享黎宇杰2020级本科生分享主题:就业准备工作分享导师:唐茗老师毕业去向:华为技术有限公司 SP黎宇杰同学根据自身在找实习和秋招过程中投递多家公司积累的丰富经验,用幽默的语言为同学们介绍了准备公司就业的时间线,如何分析岗位要求,写简历时的注意事项,如何准备笔试和面试,以及如何调整因暂时找不到工作而产生的负面情绪。学业、就业的平衡与选择刘佳奇2021级硕士研究生分享主题:学业、就业的平衡与选择导师:郑锋老师毕业去向:阿里国际数字商业集团刘佳奇同学首先介绍了自己在找就业offer过程中丰富的投递经历,其后重点从案例出发,说明了有科研产出对收获大厂offer有比较大的帮助,最后结合自身经历,分享了他对科研和就业的一些心得体会。考研经验分享陈孙兵2020级本科生分享主题:考研经验分享导师:宋轩老师毕业去向:南方科技大学硕士陈孙兵同学从个人考研情况、院校选择、备考经验和心态调整四个方面展开对考研准备经验的分享,重点梳理了考研的时间线、各个考研科目的考试情况和对应的备考心得。考公经验和相关流程分享陈志雄2020级本科生分享主题:考公经验和相关流程分享导师:宋轩老师毕业去向:深圳海关公务员陈志雄同学首先从计算机专业岗位众多、应届生竞争性较小、考试内容相对简单三个角度分析了考公的优势,其后从公务员考试的种类、考试的形式与内容、备考经验和后续流程这三个方面对考公进行了较详细地介绍。
2024-05-22
调查研究显示,在程序的开发过程中,开发者大约要花费一半的时间在修复缺陷上。在美国,软件维护的年度总成本高达700 亿美元[1]。为了减轻开发者的负担,提高修复效率,软件缺陷自动修复技术应运而生。近期,基于大模型的缺陷自动修复技术达到了最佳的修复效果。然而,这些技术通常基于昂贵的语句级错误定位信息,并且仅聚焦于行级/块级的缺陷修复,因而局限了缺陷修复技术的应用空间和场景。日前,南方科技大学计算机科学与工程系助理教授张煜群领导的软件前沿技术研究组(ARiSE@SUSTech)发布了一款新的基于大模型的缺陷自动修复工具SRepair,取得了业内已知的最优效果。在业界最广泛应用的由真实大型Java项目缺陷组成的Defects4J数据集上,SRepair可以修复522个函数级缺陷中的300个,大幅超越当前SOTA技术至少85%[2]。实施SRepair只需要GPT-3.5-Turbo与开源代码大模型,仅需为使用API花费8.6$。因此,采用SRepair修复每个缺陷仅需花费2.9美分。同时,SRepair还在业内首先实现了对跨函数级缺陷的修复,总计共修复32个此类缺陷。可以说,SRepair极大地拓展了自动缺陷修复的应用范围和价值!该工作同时和快手公司合作完成。SRepair机制代码地址:https://github.com/GhabiX/SRepair如上图所示,SRepair首先采用了一个修复建议模型。该模型通过思维链(Chain of Thought, CoT)技术综合分析辅助修复相关信息(即触发测试、错误信息和注释),以充分利用大模型的分析与学习能力,然后,它以自然语言提供修复建议。接下来,SRepair采用了一个补丁生成模型。该模型接受修复建议模型提供的修复建议,直接生成缺陷函数的补丁。如下图所示,SRepair通过思维链技术成功分析出复杂缺陷的根因,并且给出了正确的修复建议,进而成功修复这个缺陷。为了全面评估SRepair的性能, 我们使用了以下数据集:Defects4J:该数据集基于 Java 语言,共包含835个真实的程序缺陷,目前已经被广泛应用于评估自动修复工具的性能。该数据集包含了522个单函数缺陷与143个跨函数缺陷。QuixBugs:包含 40 个经典编程问题的多语言(Python和Java)的缺陷数据集。我们发现,相较于过去的SOTA技术,SRepair至少提升了85%的修复性能,并且修复了128个其他技术无法修复的缺陷。此外,我们观察到在Defects4J中68%的单函数缺陷(357个)可以被合理地修复,即可以通过所有数据集所提供的测试套件;57%(300个)缺陷被正确修复,即生成与官方补丁等价的修复。SRepair还首次成功修复了32个跨函数缺陷,成为业内第一次具备跨函数修复能力的工具。在QuixBugs数据集中,SRepair成功修复了Python与Java语言的所有缺陷,显示出其在多种编程语言上的卓越能力。未来展望SRepair将应用范围局限的行级(line-level)和块级(hunk-level)修复提升至函数级与跨函数级,达到了优异的修复效果,且成本低廉,无需昂贵的语句级错误定位信息。未来,我们将进一步拓展和优化SRepair,以更低的成本达到更加优秀的修复效果!ARiSE@SUSTech简介南方科技大学计算机科学与工程系助理教授张煜群领导的软件前沿技术研究组(The Laboratory of Advanced Rearch in Software Engineering, ARiSE@SUSTech)长期以来致力于软件安全与测试和面向人工智能的软件工程等领域的科研工作。在模糊测试、污点分析以及基于大模型的各软件工程下游任务取得的成果已经在国内腾讯、蚂蚁和快手等企业落地应用。[1] Gazzola L, Micucci D, Mariani L. Automatic software repair: a survey. Proceedings of the 40th International Conference on Software Engineering. New York, NY, USA: Association for Computing Machinery, 2018: 1219.[2] Xia, Chunqiu Steven, and Lingming Zhang. "Keep the Conversation Going: Fixing 162 out of 337 bugs for $0.42 each using ChatGPT." arXiv preprint arXiv:2304.00385 (2023)
2024-05-22