2023年12月17日,中国中文信息学会举行了2023年“博士学位论文激励计划”发布仪式。学院2023届计算机科学与技术专业毕业生林野同学的博士学位论文《面向神经机器翻译的模型压缩与加速方法研究》获得提名奖,导师为朱靖波教授和肖桐教授。
中国中文信息学会是中国科学技术协会所属的全国性学术团体,属于国家一级学会,其宗旨在于促进计算机科学、语言文字学和人工智能等相关学科的交叉融合与发展。为表彰中文信息处理学科领域的优秀人才,推动领域科技进步,学会设立“中国中文信息学会博士学位论文激励计划”奖项,以鼓励中文信息处理领域的博士研究生开拓进取的,奖励其取得的高水平创新科技成果。
论文简介:
文章针对神经机器翻译的模型压缩和加速方法进行研究,创新性地提出1)基于子层融合的模型结构设计方法;2)基于 8-bit 整数运算的模型压缩和加速方法;3)基于权重蒸馏的模型压缩和加速方法;4)具备快速解码能力的神经机器翻译模型;5)具备高效存储能力的神经机器翻译模型,适用于计算、存储、内存资源都十分受限的部署场景。基于论文研究成果,已发表CCF A类会议4篇以及CCF B类会议2篇。以上研究成果还应用于WNGT Efficiency和WMT机器翻译评测比赛中,在2019年~2022年取得第一、二名的成绩。在WNGT比赛中使用的模型结构设计、量化和蒸馏方法可以有效加速翻译模型推理速度,在WMT比赛中使用的改进后的蒸馏方法帮助模型在有限规模的前提下取得了更好的翻译性能。以上部分研究成果还集成在小牛翻译系统以及开源项目NiuTrans.NMT中,加速方法可以帮助机器翻译系统进行更快速的实时响应,压缩方法可以减少系统的部署代价,使得神经机器翻译模型能更好地落地到实际应用场景中。
作者简介:
林野于2023年7月在太阳成集团tyc122cc获得计算机科学与技术专业博士学位。曾多次在ACL、EMNLP、AAAI、IJCAI、COLING等自然语言处理和人工智能相关会议上发表论文,并将理论与实践相结合,将以上研究内容应用于WMT、WNGT比赛中以及开源项目中,曾荣获CCL 2018“最佳张贴报告展示奖”,并多次担任国内外自然语言处理和人工智能会议的审稿人。
撰稿人:刘晓倩
审稿人:付 冲、肖 桐