© 2022 All Rights Reserved.粤ICP备14051456号
导言:本成果已被IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2024会议接收。CVPR 是人工智能领域最有影响力的学术会议,在Google Scholar Metrics影响力排行榜中位列第4,仅次于Nature、新英格兰医学和Science。近期,具身智能领域研究热点聚焦于利用大型预训练基础模型来构建通用的具身智能体,其有望替代人类完成日常生活中的一部分工作。这些模型 (例如大语言模型LLMs) 受益于他们从互联网规模的预训练数据中学习到的大量先验知识,能够根据外部环境的状态反馈,来完成各种任务,例如代码生成,商品推荐,甚至是机器人操作。此外,通过整合视觉-语言模型(Vision-Language Models),智能体可以直接理解视觉输入,并进行任务的推理、规划和执行。然而,现有的工作都忽略了现实世界是不断演化的,因此在预先收集的静态数据集上训练的基础模型无法对齐现实世界的动态演化。当使用这些基础模型作为智能体,在解决任务时可能遭遇到严重的幻觉问题(例如生成错误、不存在、误导性的虚假信息)。为了解决这一问题,我们探索了使用当前最先进的大语言模型(GPT4)作为“教师”,通过交互式的跨模态模仿学习,在动态的世界中训练具身智能体(学生)的可能性,我们的方法有效地对齐了智能体行为与现实世界的演化。图1. 交互式的跨模态模仿学习训练框架论文题为Embodied Multi-Modal Agent trained by an LLM from a Parallel TextWorld。该研究由南方科技大学、马里兰大学帕克分校、悉尼科技大学、和京东探索研究院共同合作完成。该论文第一作者为南科大计算机系2020级博士研究生杨一君,通讯作者为我系史玉回讲席教授,南方科技大学为论文第一单位。 史玉回讲席教授于2016年9月加入南方科技大学计算机科学与工程系。他在群体智能、计算智能、演化计算等领域已取得诸多学术成果。他在1998年与Eberhart教授提出了改进型粒子群算法,该算法长期以来为大多数粒子群算法研究者所用。他是头脑风暴优化算法的创始人。迄今为止,他已在国际顶尖学术期刊及会议发表论文200余篇,谷歌总引用次数超过58000次,H-指数为49。
2024-03-06
2024年2月18日-20日,由中国计算机学会主办,北京理工大学(珠海)承办,南方科技大学、北京理工大学珠海学院、CCF深圳和CCF珠海共同协办的中国计算机学会 218Club(以下简称 CCF 218Club)第一届学术年会在广东珠海横琴希尔顿逸林酒店举行!CCF 218Club是由历届“中国计算机学会青年人才发展计划”入选者自发组织创建的活动项目,致力于通过学术活动与产学研交流加深成员之间的了解互动,促进跨平台的学术合作,共同推动研究工作的发展。CCF 218Club的使命是:推动原创研究,促进学术成长。本次大会CCF 218Club 2023-2024执行委员会主席,南方科技大学助理教授唐博博士担任大会主席,大会开幕式由CCF 218Club 2023-2024执行委员会委员,清华大学张超博士主持,CCF副理事长、会士,华中科技大学金海教授代表大会主办方致辞,介绍了CCF对青年人才培养的措施。大会承办单位北京理工大学珠海学院党委副书记史建伟先生和CCF珠海主席,暨南大学方俊彬教授分别致辞。CCF 218Club执行委员会旗帜交接仪式也在大会开幕式上举行。第一届执行委员会主席南方科技大学唐博博士交旗,第二届执行委员会主席清华大学张超博士接旗。CCF 218Club 执行委员会旗帜交接仪式此次学术年会以“成员能力提升”为主题,包含2个特邀报告,7个CCF 218Club 成员报告以及1个企业报告。CCF 218Club 第一届学术年会合影大会特邀报告:CCF学术工委主任、会士,清华大学教授陈文光进行了《我的科研之路-从测试到优化到构建,从做出来到用起来》的大会特邀报告,分享其自身的的科研经历,从研究方向的转换到后期产业化的一些经验和思考,为青年学者的成长提供了经验。陈文光,CCF学术工委主任、会士,清华大学教授中国科学院计算技术研究所韩银和研究员进行题为《专用智能计算机的艰难探索之路》的大会特邀报告,介绍基于感知-判定-決策-执行(OODA)智能处理范式的专用智能计算机设计理念,及其在在工业专用智能计算机和星载专用智能计算机方面的探索,并建议青年学者积极培养战略思维。韩银和,中国科学院计算技术研究所研究员清华大学张超博士、武汉大学玄跻峰教授、中国科学院计算技术研究所陈晓明博士、南京大学卜磊教授、华中科技大学文明博士、清华大学王运涛博士和清华大学章明星博士等7位218Club成员分别从软件和系统安全、软件工程、集成电路、体系结构、形式化方法和人机交互等领域进行研究工作报告。企业特邀报告:蚂蚁集团资深总监、可信安全计算部负责人闫守孟博士进行题为《可信安全基础设施技术和实践》的特邀报告。分享蚂蚁集团在可信安全基础设施方面的技术探索和实践经验,涉及可信硬件、安全容器、机密计算等全栈安全可信技术。大会特邀点评专家CCF副理事长、会士、华中科技大学教授金海,CCF学术工委主任、会士、清华大学教授陈文光、浙江大学教授高云君、中国科学院计算技术研究所研究员韩银和、国防科技大学教授徐凯和中山大学教授郑伟诗分别结合CCF 218Club成员的报告内容对青年人才发展进行了点评与寄语! 在大会闭幕式上,CCF副理事长、会士、华中科技大学金海教授和CCF青工委主任、CCF 218Club成员清华大学崔鹏博士分别为大会合作伙伴颁发感谢牌。南方科技大学副教授张锋巍接受CCF副理事长金海教授颁发的感谢牌CCF深圳主席,深圳大学教授毛睿致闭幕辞,致谢所有与会嘉宾及为会议顺利召开提供服务保障支撑的当地院校并倡议计算领域的专家学者要更多地支持和关注青年学者的成长。至此,CCF 218Club第一届学术年会圆满落幕。
2024-03-06
计算机科学与工程系2023届毕业生共272人,其中本科毕业生202人,专业为计算机科学与技术、智能科学与技术,升学就业率为93.07%;硕士毕业生68人,专业为电子科学与技术,升学就业率为98.53%;博士毕业生2人。本科生升学就业概 览本科生毕业生202人中升学143人,占总人数的70.79%(2022届升学人数94人,同比增幅42.55%)。就业45人,占总人数的22.27%。本科生升学其中境外升学84人(2022届境外升学人数48人,同比增幅75%),境内升学59人。境外升学境外升学以top100高校为主(参考2023年QS世界大学排名),占比60.71%。升学学校包括美国卡内基梅隆大学、伊利诺伊大学香槟分校、西北大学、约翰斯·霍普金斯大学、纽约大学、新加坡国立大学、香港科技大学等。境内升学境内升学以保研本校为主,另有保研去往北京大学、清华大学、哈尔滨工业大学、西北工业大学等。直博23届本科毕业生境内外直博共17人(全额奖学金)。直博情况如下:境内1人北京大学美国11人伊利诺伊大学香槟分校西北大学德克萨斯大学奥斯汀分校 密歇根大学安娜堡分校 普渡大学 2人 圣母大学 2人罗切斯特大学加州大学河滨分校亚利桑那大学香港5人香港科技大学 香港理工大学 3人 香港浸会大学攻读硕士多位本科毕业生被卡内基梅隆大学、康奈尔大学、伊利诺伊大学香槟分校、约翰霍普金斯大学、西北大学等美国知名大学的硕士项目录取。本科生就业2023届本科毕业生中有45名就业,占比为22.28%。就业毕业生中82.22%在深圳本地服务。本科毕业生就业主要去往世界500强、独角兽企业和国企事业单位,包括华为、美团、深圳燃气、深圳市中学教师等。毕业去向最多的两家公司是:华为和比亚迪。研究生升学就业概览硕士毕业生共68人,其中升学23人,占比33.82%,就业44人,占比64.71%。博士毕业生共2人,均拟入职双一流高校。硕士研究生硕士研究生升学升学23人。境内攻博境内升学11人,升学高校主要为:北京大学、北京航空航天大学、华中科技大学、南方科技大学等。境外攻博境外升学12人,10人去往top100高校(参考2023年QS世界大学排名),占比83.33%。升学高校主要有美国杜克大学、加州大学欧文分校、佐治亚理工学院、罗切斯特大学、日本东京大学、新加坡国立大学、香港科技大学、香港理工大学等。硕士研究生就业就业44人。近60%服务于粤港澳大湾区。27人去往世界500强及互联网头部企业。包括:中国航天、华为、比亚迪、百度、嘀嘀、中石化、中移动、中国银行等知名企业,占比61.36%。毕业去向最多的公司是:华为。9人选择去往政府、高校、科研院所等单位工作,如:深圳市市场监督管理局、中共深圳市南山区委宣传部、中国科学院声学研究所等。占比20.45%。
2023-12-27
2023年12月,我系唐茗副教授获IEEE TMC期刊2022年度最佳论文奖。IEEE TMC是中国计算机学会推荐CCF A类国际学术刊物。IEEE TMC年度最佳论文奖每年评选一次,颁发给本刊最具有影响力的学术论文。最佳论文奖获奖证书获奖论文第一作者为唐茗副教授,论文题目为“Deep Reinforcement Learning for Task Offloading in Mobile Edge Computing Systems”,发表于2022年6月。论文针对边缘计算系统中的资源调度问题,采用深度强化学习技术,实现低时延、自适应的计算任务卸载。因该研究成果为边缘计算中的任务调度问题拓展了新的解决思路,故获得此奖。任务调度问题是边缘计算的核心问题之一。与云服务器不同,边缘设备往往具有相对有限的算力,当众多移动设备同时卸载任务到同一边缘设备时,这些任务的排队时长会显著增大。由于边缘计算系统去中心化的架构,移动设备无法提前获知其他移动设备的卸载任务的需求和行为,也就无法提前预知任务卸载的实际响应时间,这样未知的环境为降低任务的响应时延提供了极大的挑战。与前期的工作不同,本论文提出了基于深度强化学习的任务调度框架,通过引入Dueling架构以及双重深度 Q 网络的方法,设计了面向任务调度的深度强化学习算法。实验结果表明,与传统的基于优化、博弈论的方法相比,该论文所提出的算法可以极大的降低任务超时的概率、降低响应时延,这样的性能的提升在任务时延敏感时更为显著。唐茗南方科技大学计算机科学与工程系副教授(研究员)、博士生导师。主要从事边缘计算、联邦学习、网络经济学等方向研究。在计算机网络与通信领域的旗舰会议及期刊发表或接收论文20余篇,包含第一作者中科院SCI一区和中国计算机学会推荐CCF A类刊物 11篇。目前担任IEEE Open Journal of the Communications Society无线网络方向副编辑,担任中国计算机学会计算经济学专业组专业委员会执行委员,多次出任包括IEEE旗舰会议ICC、 WCNC等大会技术程序委员会成员。
2023-12-27
近日,广东省教育厅公布了广东省2023年度一流本科课程名单。我系唐博老师和教学实验师沈昀老师讲授的本科专业基础课《数据结构与算法分析》被评选为广东省线上线下混合式—流课程。《数据结构与算法分析》(简称DSAA)是计算机相关专业的专业基础课,是我校“2+2”进入计算机系的专业先修课。DSAA课程教学一直面临选课学生数多(200人左右)、学生基础差异大以及课程难度高等诸多挑战。课程教学组从实际出发,在教学过程中始终贯彻 “夯实基础,明确方向,挖掘潜力”的教学理念。唐博在一科报告厅授课在教学实施方面,首先通过自编全英文课程讲义和配套课件实现基本概念和相关算法由浅入深的讲解,为选课学生的后续专业学习打下坚实基础;其次通过原创高质量、有梯度的课程内容练习题,实现对不同程度学生的因材施教;最后建设课程作业在线评测系统,一方面解决传统作业提交反馈不及时,信息不明确的难题,另一方面通过积累课程实施以来所有选课学生的作业提交数据从而实现数据驱动的持续教学优化和提高。《数据结构与算法分析》课程自开设以来,教学效果显著。依托该课程的广东省教学质量工程建设项目已通过验收并上线MOOC课程;课程配套课件获得中国计算机教育大会优秀课程配套资源一等奖;该课程还获广东省在线教学优秀课程案例一等奖以及南方科技大学教学成果二等奖。
2023-12-27
本周,南方科技大学计算机系和斯发基斯研究院iMED智能医疗团队与国内两家眼科医疗器械企业,杭州泰源医药创新研究院有限公司和瑞尔明康医疗科技有限公司,分别签署了为期五年的联合实验室合作协议,将共同努力提升眼科医疗仪器智能化发展水平。两家联合实验室的建立,是基于iMED团队与国内外多家知名医疗厂商的长期成功合作经验。2016年,iMED团队与日本TOPCON公司和TOMEY公司建立联合实验室;2022年,iMED团队又与国内上市企业深圳华大智造公司建立医疗机器人实验室。结合南科大计算机系与斯发基斯研究院对iMED的发展定位,iMED团队正逐步建立人工智能科技赋能国内外眼科企业的长期发展平台。iMED团队是由南方科技大学计算机系刘江教授于2007年创立并领导的全球最大的国际眼科人工智能团队之一。该团队专注于眼科人工智能领域,涵盖四个研究方向:人工智能算法开发、手术机器人导航、眼科精准医疗和眼脑联动。iMED团队秉持“团结、专注、坚持”的团队文化,在眼科人工智能领域持续稳健地发展。 联合实验室12023年12月12日,”南方科技大学斯发基斯可信自主系统研究院-泰源智能眼科技术研发联合实验室”完成协议签署。杭州泰源医药创新研究院是由国内知名生物医疗上市公司杭州泰格医药科技股份有限公司、泰鲲基金、杭州市科创集团、杭州高新金投控股集团和启明创投共同出资建立的。该研究院定位于医疗健康领域的早期阶段转化投资,并依托泰格现有资源,旨在打造全国顶尖的“政产学研医投”六位一体的医药创新中心。iMED团队与杭州泰源医药创新研究院有限公司合作创建联合实验室,旨在充分发挥各自优势,共同建设一个集科研平台建设、产业技术研发与集成、人才培养、应用示范和成果转化为一体的创新平台。该实验室的目标是推进眼科仪器设备及相关算法的技术升级和发展,以及共同探索和研究眼科仪器等医疗设备中人工智能的应用和产品实现,促进科技成果转化。 联合实验室22023年12月13日,“南方科技大学斯发基斯可信自主系统研究院-瑞尔明康智能眼科图像分析联合实验室”也完成协议签署。瑞尔明康(杭州)医疗科技有限公司成立于2016年4月,是由医生与科技人员共同创立,致力于眼科共聚焦成像设备和精密医疗器械的研发和产业化,努力创造对人类健康和生命质量具有卓越价值的产品和服务。该公司与IMED团队具有多年合作基础。本次创建的联合实验室将专注于共聚焦成像等技术的研究及其在眼科等领域的技术升级和发展,以促进技术成果转化。iMED团队合影
2023-12-27