【大纪元2025年01月16日讯】(大纪元记者方金媛台湾高雄报导)国立高雄大学资讯工程学系教授余亚儒团队结合“光流”“深度学习”与“大语言模型”,开发即时手语辨识系统“手语之声”,造福喑哑人士,解决日常沟通不便困扰。该成果入选国科会大专学生研究计划,以及校内“激发学生创意竞赛-创业实作组”第一名殊荣。

余亚儒表示,根据政府资料,台湾约有18万9000名喑哑人士,其中台湾手语使用者2至3万人,但全台仅有591名具备证照的专业手语翻译员,加上多数民众不谙手语,使得喑哑人士在购物、银行、医院等生活场景沟通不便,无法得到即时回应。但这类相对少数(族群)的需求也代表商机有限,通常鲜少企业愿意开发解决方案,因此团队积极运用自身专业,助其改善生活品质。
“手语之声”系统运用了光流技术(Optical Flow)、深度学习(Deep Learning)和大语言模型(Large Language Model,LLM),仅需普通摄影镜头即可捕捉使用者手部动作及脸部表情并即时分析,能够准确快速地转换为文字或语音,准确率可达93%。
即时手语辨识系统应用潜力广泛,能够融入教育、医疗、公共服务等多个领域,协助学校教师与听障学生教与学、帮助医护人员与听障患者沟通病情,并可设置于政府、商业场所服务窗口,提升听障人士在公共空间的便利性与参与度。
团队成员江东庭表示,团队突破手语资料稀缺的瓶颈,透过少量资料进行生成和扩充,使得系统能正确识别词汇并将其组成完整句子。该技术的核心在于用影像取代传统的感测器方案,降低成本同时提升便利性。
余亚儒补充说明,系统目前能辨识单词并串接成句,未来若能克服判断句子断点等挑战,以及扩充至穿戴装置或手机应用程式,应用场景将更为广泛。例如与紧急救援系统加以整合,协助喑哑人士报警、警消救援沟通更加顺畅。
“手语之声”成果获得肯定,通过2024学年度国科会大专学生研究计划,也摘下校内第12届激发学生创意竞赛-创业实作组第一名。◇
责任编辑:黄善