评论

收藏

[Android] 手语服务让信息世界没有障碍

移动开发 移动开发 发布于:2021-11-18 17:13 | 阅读数:451 | 评论:0

内容来源:华为开发者大会2021 HMS Core 6 App Services技术论坛,主题演讲《手语服务,助您构建信息无障碍应用》。
演讲嘉宾:华为消费者云服务 手语服务技术总监  北京师范大学教授 郑璇
大家好。今天为大家分享一下HMS Core为什么要做手语服务,背后的故事和进展。
首先看一下我们服务的对象,据世界部门组织调查,当前有4.6亿听障群体,而我国至少有2700万听障群体,并且每年国家也有将近2.3万的听障儿童出生,但是仅有不到5%的听障群体使用助听器等辅助设备。因此由于信息的缺失,我们听障朋友在日常的学习交流中存在一些困难,这就是为什么在公共场所应用场景中手语的渠道非常迫切。
手语是什么?对听障群体意味着什么?对健全的群体意味着什么?我们邀请到北京师范大学郑璇教授跟大家做分享
大家好,我是北京师范大学的郑璇,很高兴跟大家面对面交流。
其实我是聋人,大家可能看不出我左耳戴了助听器,但是我的口语还是不错的,我的手语翻译是听力健全人士,但是她可以流畅地使用手语,我想在这一刻,聋人和听人界限不那么分明了,这要感谢科技的进步。
今天要跟大家分享的是《解锁手语密码,走进无声世界》
说到手语大家可能感觉很神秘,手语从语言学来说,是一种语言,我在读博士的时候,在复旦大学中文系语言学与应用语言学专业,我所做的是从语言学角度研究手语到底是什么样的语言,手语是用手的手形、位置、运动、手掌朝向、配合面部表情和身体姿态,还有必要的口形,表达特定意思的交际工具,是一种真正的语言。为什么这么说?因为手语是有完整复杂系统的语言,有它的语音、语汇、语法,如果孩子的父母是聋人,就可以把手语当作第一语言学习,这时发展的路径和口语基本是同步的,而且我们从脑科学的角度可以证明,聋人在用手语的时候,大脑里面活跃的区域基本也是左脑的语言区。
关于手语的地位已经有了比较成熟的法律规定,比如2006年联合国的残疾人权利公约,以及后来在中国签署的联合国教科文组织的岳麓宣言强调,手语和口语是平等的,是两种语言,每个国家有义务保护促进推广手语的使用,目前世界聋人联合会的数据显示,世界有66个国家和地区通过立法承认了手语的地位。
我们国家在通用手语推广上,也有很大的进步,比如2015年和2021年分别是“十三五”和“十四五”的起点,我们发布了两期《国家手语和盲文的规范化行动计划》,2018年的时候,我们出台了《国家通用手语词表》,这个上升到了国家语言文字规范的高度,在2019年又出版了《国家通用手语词典》,如果大家有兴趣的话,可以直接从华为应用市场上下载APP。
DSC0000.png

上图是一个中国残疾人艺术团的演员演示“中国”的手语打法,“中国”的手语打法是伸出手指,从左肩到右肩往下,这时模仿汉服当中传统服装的式样,来模仿中国的概念。
手语对聋人朋友意味着什么?
DSC0001.png

我是一名聋人,所以我非常深刻地感受到手语对我们的重要性,可能大家不知道,超过95%的聋孩子,他们的父母是听力健全的人,这就意味着在家里他们不能像正常孩子一样顺利的跟父母沟通。国外有一个词形容:餐桌综合症,即使在餐桌上我们跟父母都是最熟悉的陌生人。所以,手语的介入可以改变这个状况。
当他们成长进入学校以后,手语可以作为教学语言,连接孩子和世界,促使他们对知识的学习;当他们走入社会以后,可以通过手语跟普通人建立连接,当社会上每个人都会手语,聋人朋友就会感受到平等和尊重;当他老了以后,手语会为他营造一个精神家园,聋人朋友对手语是非常有感情的,曾经有句诗描写他们对手语的感情,“如果你砍掉了我双手,我就用双臂打手语,如果你砍断了我的双臂,我就用双肩打手语”。
对于听力健全的朋友来说,手语意味着什么?
DSC0002.png

我曾经多次在高校教手语课,学生们问我:“老师,手语要怎么表示我爱你?”手语对青年学生来说是技艺才能,对刚出生的婴儿可以作为早教益智的手段开发他的智力,当他走入社会以后,如果他会手语,其实有助于构建信息无障碍的社会,让他知道每个人都可以接纳世界的多元性,让这个世界更美好。
此外,手语可以在特别的时候沟通,比如当环境嘈杂的时候,当秘密交流的时候,手语都非常地有用,当老去以后,有助人助己的意义,以前是他帮助别人,但是每个人都会老去,听力会下降,手语可以作为视觉语言支撑他的沟通。
DSC0003.gif

我自己也有过多年的手语教学倡导和科研的经历,我自己非常欣赏一句话“如果你接纳了一个人,那你必将接纳他的语言,反过来如果你拒绝了一个人的语言,那就是拒绝了他本身”。我曾经在美国的孔子学院,教美国的聋孩子学习中国的手语和中国文化,我曾经在重庆师范大学的课堂上教空乘专业学生学习手语,我曾经拍摄过《我和我的祖国》手语歌的MV,我也曾经跟南京聋人学校的老师和同学们,一起编创我们的国学手语的图书。
做这些事的时候,我就有一个深刻的感受,手语其实并不是小众的语言,离每个人都不远,我们说手语是桥梁,可以连接世界上每一座孤岛,手语是资源,让我们明白每种语言独特的美,它还是人生经验的传承,是团结奋斗的桥梁,是聋听共建的纽带。
我作为顾问参与这样的项目,我们的愿景是:手语并不遥远,触手可及。其实每一个人在年老以后,在生病以后,在某些特殊的状况下,都会变成所谓的“残障者”。
手语不神秘,其实手语人人可学。比如说,这个手势表示一个人,那人从远到近是来,从近到远是去,两个人相遇、分开、追逐,你看,我们一下可以把一串手语词学会,真的并不难。
DSC0004.png

手语也不狭隘,海纳百川,我们不希望聋人朋友内部有什么手语群体、口语群体的撕裂,我真心希望,我们可以一起交流、一起建设家园、一起共享现代生活的便利。
DSC0005.png

手语更加不是一个小众的语言,我们可以开脑洞,可以打造一个手语的生态系统和新的经济体。从玻璃墙到破壁者,华为走出了关键一步。
参与这个项目的过程当中,其实也经历了非常多的坎坷,我个人非常地荣幸能参与其中。我自己是一名聋人,我自己是手语言学的研究者,对于我们来说,这个产品可以帮助到我们。但是在现在可能不是所有的人都能够理解,但是我们非常高兴通过一段时间的攻关,终于有了一个阶段性的成果,我想,黑暗给了我们黑色的眼睛,但是我却用它寻找光明,从黑暗中走过的眼睛,是世界上最明亮的眼睛。
最后我想教大家两个手语。
DSC0006.png

第一个是欢迎欢呼的意思,我们欢呼这个伟大的时代。
第二个是谢谢,谢谢大家给了我们无声世界新的希望。
谢谢大家。
从郑老师的分享可以看到,手语无论对听障人士还是健听人都非常重要,国家也意识到这个问题,并颁布了相应的法律条款。深圳市特区的条例今年9月1日刚刚实施的,还有10月1日北京市的条例、10月 22日广电总局发布了“十四五”的规划,都在推动和鼓励使用手语。
我们总结了三点国家法律条款。
第一,在党和国家以及地方重大活动中安排国家通用手语翻译。
第二,市级以上电视台应积极创造条件,播出节目配备手语或者字幕,开办手语栏目,推广和使用国家通用手语。
第三,飞机、铁路、地铁等公共交通应为听力残疾人提供国家通用手语服务。
华为公司做手语服务,并不是从零到一开始做的,我们在2018年跟欧洲聋人协会和世界聋人协会推出了Storysign的项目,是面向三到六岁的儿童阅读的场景,使用华为手机对着儿童阅读书籍拍摄,可以通过人工智能的技术自动产生手语动画。
DSC0007.png

在Storysign项目的基础上,我们开发了手语服务,不再面向特殊的年龄特殊人群,我们开发的是面向开放人群、开放场景、智能手语动作生成的。
手语不仅包括手部动作,还有唇动和面部表情整个的表达,因为手语是一种视觉语言,跟口语不太一样,有自己的语法,比如“我没有带身份证”,在手语当中不是逐词打的,整个的手语是按照视觉语言,会先打“身份证”“我”“带”“没有”,其次是手语动作是否连贯自然,再就是是否自带面部表情。
华为手语服务主要有三个模块。
DSC0008.png

第一个模块,首先把语音转成文本,这是在日常生活当中经常使用语音转文字的能力,这是比较成熟的技术。
第二个模块,从文本转到手语表达,这里有一个手语翻译的关键技术,利用的是华为公司的自研的语言大模型,再结合手语语言学数据做的,我们跟其他技术不一样的是,我们有训练大模型,在特定语义环境下训练,所以效果非常好。
第三个模块,文本产生3D动作,这是非常难的技术问题,我们是利用了神经网络多模态的模型实现的。当然这个过程当中,我们不仅有人工智能算法和数据,还把手语语言学跟手语翻译、手语生成两个模块进行深度融合,输出3D的动作,最后通过3D虚拟人呈现。要驱动3D虚拟人,还要通过骨骼运动带动肢体运动,再进行3D虚拟人的渲染呈现。
当前的语种只支持中国的手语,后续对英文也有规划。关于词汇也是非常重要的,刚才郑老师也讲了,国家通用词典2019年发布了以后,其实里面收录了8214个词汇,但是实际上还有很多词汇并没有输入,我们跟郑老师一起,把日常生活当中,没有被国家通用词典收录的词进行拓展,当前覆盖了一万多个词汇,当然还会继续增加,预估在明年达到2万的词汇,基本可以覆盖90%-95%的日常词汇。
如果您想将手语服务运用到您的业务场景当中,也支持3D虚拟人定制,比如将穿红衣服的3D小姐姐换个造型。
以上介绍的是手语服务的关键技术,那手语服务的能力在什么场景中应用呢?
在To C的应用场景中,面向普通消费者,可以降低交流和信息获取难度,实现沟通无障碍
DSC0009.png

第一,日常生活。日常生活可以用于比如在家庭、朋友交流的场景。
第二,教育学习。手语也是有口音和地方标准的,国家一直在推广国家通用的手语,而真正懂或者是非常熟练专业手语的人是非常少的,那么基于国家通用手语标准的华为手语服务,应用于聋人朋友的教育是非常好的。
第三,用于对社会资讯的获取。比如旅游资讯、就餐、购物等场景。
手语服务在一些To B的场景中也发挥了很大作用。比如国家鼓励或推动在一些行业里进行推广和使用国家通用手语

第一,广播电视、直播和转播的场景。
第二,在政务、银行、交通等场景使用。
第三,在大型会议、活动直播等场景使用。
手语服务的产品发布,不是我们的终点,只是我们的起点。希望我们的创新能够推动整个社会信息无障碍持续的进步。
以上就是我的分享,谢谢。
了解更多详情>>
访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址:GitHub、Gitee
关注我们,第一时间了解 HMS Core 最新技术资讯~


   
   
   
                        

关注下面的标签,发现更多相似文章