2022年11月26日由中国人工智能学会（CAAI）和杭州市余杭区人民政府共同创办，由杭州未来科技城管委会和京东零售联合承办的2022全球人工智能技术创新大赛—算法挑战赛（简称GAIIC2022）圆满落幕。本次竞赛的电商关键属性的图文匹配赛道奖金池高达100万元，吸引了来自全球的高校以及知名企业的1300多只参赛队伍，包括清华大学、复旦大学、字节跳动、百度、网易等，由我校计算机科学与工程系研究生李淏泉、张烙铭以及付浪组成的队伍在复赛以及决赛答辩中表现突出，最终荣获冠军。该团队的指导老师为张建国教授，杨鹏助理教授以及李皈颖研究助理教授。

颁奖典礼，张烙铭、李淏泉、付浪（从左到右）

决赛答辩，李淏泉

决赛答辩，张烙铭、付浪、李淏泉（从左到右）

复赛排行榜

赛题介绍

京东积累了电商零售场景下的海量商品的图文数据，其中商品主图和标题包含大量的商品属性信息。在实际业务中，图片里商品的关键属性与商品标题描述的是否匹配是影响用户体验的重要因素。本赛题要求参赛队伍利用脱敏后的京东电商平台图文数据，通过商品图片与商品标题在整体以及商品关键属性上的关联程度来判断两者是否匹配。

赛题难点

●标签分布不均衡，图文匹配和属性匹配均极度缺少负例；

●文本除关键属性以外，存在大量未标注的隐藏属性；

●线上测试集分布未知，难以构造独立同分布的验证集；

●官方提供的是图片脱敏特征向量，难以直接使用现存的多模态预训练模型。 

方法简介

通过对赛题的分析和理解将该问题拆分为图文匹配和属性匹配两个问题，并针对问题难易程度的不同提出使用复杂Transformer架构的模型来解决难度较大的图文匹配问题，使用简单架构的MLP模型来解决难度较小的属性匹配问题。

图文匹配预训练模型

针对图文匹配提出

● 分词预处理：贴合电商文本的组成特点，以词语为最小单位构建词表，大幅缩减任务难度；

● 预训练任务：从整体和局部两个角度出发设计了两种基于词语的预训练任务，提升模型的泛化性；

● 负例生成方式：采用属性替换和随机替换相结合的方式可以同时学习关键属性和隐藏属性的概念。

属性匹配模型

针对属性匹配提出

● 模型设计：设计基于Attention的MLP模型，提升模型的精度和速度的同时减小模型体积；

● 负例生成方式：相似属性的负例增强和相等属性的正例增强提升模型的鲁棒性降低模型预测的敏感性；

● 图文匹配指导属性匹配：鉴于图文匹配召回率较高，如果图文预测匹配则认为对应的属性全匹配，可以一定程度提升模型的预测精度。

相关链接

●竞赛官网：https://gaiic.caai.cn/ai2022/#/

●参赛平台：https://www.heywhale.com/home/competition/620b34c41f3cf500170bd6ca/content/0

●直播地址：https://as.alltuu.com/album/1307611557/?from=appmessage

实验室介绍

南科大计算机系-视觉和图像处理实验室（CVIP）

由计算机系张建国教授组建。实验室致力于计算机视觉、医学图像及信息处理、机器学习、人工智能等领域的相关研究，取得了一系列重要的科研成果。近两年来在CVPR、NeurIPS、AAAI等人工智能CCF推荐的A类国际顶级期刊和会议上发表学术论文多篇。实验室培养的本科学生前往UCLA、布朗大学等世界名校深造。

南科大计算机系-金融仿真智能实验室

由计算机系杨鹏助理教授组建。实验室成立于2022年7月，致力于证券金融市场仿真系统的基本原理、关键技术和行业应用研究，围绕多智能体仿真、演化智能、证券金融数据分析等关联领域布局探索。实验室已与深交所集团共建“深圳证券信息有限公司-南方科技大学计算机系行情云联合创新实验室”，面向国际领先交易所和信息服务商的证券行情服务云化技术变革趋势，聚焦于证券大数据、人工智能、云计算等先进技术的理论方法突破，积极探索落地我国首项基于云原生的证券行情服务行业基础设施，提升深市行情在国际上的影响力和话语权。

南方科技大学计算机科学与工程系