南科大本科生用AI跨越数千年解读甲骨文

Release Time:2021-07-07

甲骨文,又称“契文”、“龟甲兽骨文”、“甲骨卜辞”或“殷墟文字”,指中国商朝晚期王室用于占卜记事而在龟甲或兽骨上契刻的文字,是现存中国王朝时期最古老的一种成熟文字,最早出土于距今三千多年前的河南省安阳市殷墟遗址。甲骨文因年代久远、字形变化多样、无传世文献可供对照等因素,对其的识别一直是考古学面临的重要难题。

针对甲骨文识别这一学术难题,南方科技大学6位本科生(18级曾鸣、杨睦圳、鲁昊天、汪炜、席睿翎和17级张舒煜)在人文社科唐际根老师、计算机系刘江老师以及研究团队章晓庆、胡玙璠、钟雯的指导下,以CS330《多媒体信息处理》课程学到的知识和技能为基础,运用图像和文本处理、深度学习算法、开发创新的神经网络算法和生成对抗算法(Generative Adversarial Network,GAN),结合甲骨文的形态、语义、上下文关联等知识,实现甲骨文文字的自动识别、生成和检索目标。

微信图片_20210706170056.jpg

图1.张舒昱、席睿翎、汪炜、鲁昊天、杨睦圳、曾鸣 (从左到右)

第一步是建立甲骨文数据库,将已识别的甲骨文图像及其对应汉字收入库中,目前已完成558个单字、1.8万多张图像的录入。第二步,采用经典的深度残差神经网络(ResNet)模型实现手写甲骨文图像识别的任务。第三步,选择pix2pix生成对抗网络(GAN)作为生成甲骨文的自动方法,用于增加样本多样性和生成一些未知甲骨文,其中基本网络采用U-Net结构;第四步,利用检索算法将未知甲骨文图像与已有的甲骨文对比,从数据库检索出未知甲骨文图像。

合作团队已经着手开发可用于展示和互动的微信小程序,希望将甲骨文的识读面向大众,增加大众对甲骨文的理解。

微信图片_20210629110457.png 

图2. 基于人工智能算法的甲骨文识别

微信图片_20210629144023.png

微信图片_20210629144030.png 

图3. 微信甲骨文小程序

项目小组组长曾鸣说:“在甲骨文识别项目中,我们小组学习了甲骨文相关历史和研究现状,并把人工智能技术应用到甲骨文。这次人文研究和计算机技术的结合,让我们体会到交叉学科研究的魅力!”

项目成员杨睦圳说:“从本学期参加的智能甲骨文识别项目中,我不仅学习了神经网络等计算机方面的专业技能,还得到了一次真正与甲骨文接触的机会。在构建甲骨文识别与检索系统的过程中,我们自己动手去收集与处理数据,认识了各种各样有趣的甲骨文字,收获颇丰。虽然将人工智能应用于甲骨文领域的各个任务取得了不错的效果,但仍然存在着包括数据量不足在内的诸多挑战,希望未来还能有机会参加到这种既有趣又充满意义的项目中。”

本项目创新地开发多媒体信息处理和人工智能技术应用于甲骨文的识别和生成,以考古学研究需求为导向,以多媒体信息处理和人工智能创新算法为核心,充分融合南方科技大学考古研究与多媒体人工智能算法创新的科研实力,体现了跨学科交叉融合的魅力与力量,实现了跨越学科边界的思维碰撞与技术共享。此次合作,进一步推动南科大考古研究与多媒体信息处理高科技结合的步伐,为探索南科大跨学科合作和教与学实践提供范本,也为《多媒体信息处理》课程教授提供了创新思路。最新的教学成果论文“Multimedia Meets Archaeology: A Novel Interdisciplinary Teaching Approach”已经被国际教育会议2021  Frontiers in Education (FIE) Conference长文接受。非常感谢南科大图书馆对交叉合作的帮助与支持。