当GPT开始连接“无声的世界”

随着ChatGPT的发展，各行各业都在受到影响。ChatGPT的出现，也让我们看到了它连接世界各国语言的重要作用。既然有声语言可以做到这种程度，那么无声语言呢？作者对其在手语翻译上可以发挥的作用进行分析，一起来看看吧。

如今，GPT让我们看到，它在连接世界各国语言之间的重要作用。

无论是中文、英语、法语、日语、西班牙语、葡萄牙语，还是每个国家之间不同的方言，比如国内的粤语、闽语、吴语、客家语等，GPT都可以在大量学习之后，轻松地进行翻译交流。

然而，世界上还有一种语言，很容易被人遗忘——

那就是聋哑人生活中必不可少的「手语」。

实际上，手语也有国别与地区之分，也有各种各样互不相通的「方言」。

要读懂一个人的手语，真正理解他的意思，从来都不只是像看电视一角的手语翻译者演示的那样简单。

那么，GPT在手语翻译上可以发挥的作用，可以说更加让人震撼。

也许，这种无声的语言，在不久的将来，可能以一种全新的方式，被全世界人们看见、听见。

01  无法被理解的“手语方言”

手语一般分为两种，一种是文法手语，也就是我们平时在新闻联播或重大会议上看到的手语翻译；

另一种是自然手语，有着不同的地区差异，相当于各地「方言」的集合。

目前，世界上有超过140种记录在册的自然手语。

然而，自然手语和文法手语之间没有直接的对应关系，因为它们传达的是概念，而不是单词。

所以，即使是专业的手语翻译者，由于他们学习的是文法手语，也无法很好地理解不同地区聋哑人的手语表达。

比如说，一个美国的聋哑人旅行者来到了英国，他想在一家咖啡店点一杯咖啡。

如果他用美国手语（ASL）对服务员做一个手势，表示“咖啡”。

很有可能服务员会不明白他的意思，因为在英国，懂手语的人也可能只懂英国手语（BSL）。

在美国手语（ASL）和英国手语（BSL）的体系里，表达“咖啡”的手势完全不同。

在美国手语（ASL）中，表示“咖啡”的动作是：两只手做一个拳头，然后把一只拳头放在另一只拳头的下方，上面的拳头像转动圆盘一样画圈圈，模仿的是用手转动咖啡磨来研磨咖啡豆的动作。

而在英国手语（BSL）中，表示“咖啡”的动作是：用拇指和食指做一个“C”的形状，然后在肩膀的高度向嘴巴的方向扭动两次，模仿的是用嘴唇吹气来降低咖啡温度的动作。

因此，在日常生活中，聋哑人可能会遇到各种各样的沟通障碍。这种尴尬，不仅发生在聋哑人与无障碍者之间，也有可能发生在聋哑人彼此之间。

02  无法被看见的“非手部信息”

手语翻译要比我们日常接触到的口语翻译更难。

因为口语通过声道表达，而手语通过手、手臂、头部、肩膀、躯干和面部部分表达。

也就是说，手语是一种多模态的语言。

它不仅包括手势，还包括面部表情、身体姿势、眼神等非手部信息，这些信息都需要被准确地捕捉到，并且加以分析。

目前，有不少科技产品做手语识别，但都无法很好地识别「非手部信息」。

比如，美国华盛顿大学两名学生发明的SignAloud，这是一款特殊的手套，手套上有传感器，可以感知手的位置和运动，然后通过无线信号把信息发送到电脑上，电脑把手部姿势对应的英语单词或短语说出来，或展示出来。

但这个技术目前只能识别美国手语（ASL），更重要的是，它只能识别手部信息。

因此，它只适用于一些简单的生活场景，如点餐、问路等。

而对于一些复杂/专业的场景，如医疗、法律等，它的精细度就不够了。

举个虚构的例子。

假设有一名聋哑人被控告偷窃，他在法庭上用手语为自己辩护，但是法官和检察官不懂手语，只能通过翻译来理解他的话。

在一次提问中，检察官问他是否承认自己偷了东西，他用手语回答说“我不知道”，但是他的面部表情和头部动作表示他很困惑和无辜。

翻译只看到了他的手势，就把他的回答翻译成“我不承认”。

法官和检察官听到这个回答，就认为他在撒谎和抵赖，对他的态度更加严厉和不信任。

这样就可能影响他的判决结果和法律权益。

因此，我们需要更加重视这些非手部信息，需要更好地利用科学技术，来帮助我们理解聋哑人真实的内心世界。

03  GPT的腾空出世

由于对手语的不完全理解，导致了聋哑人在日常生活中受到极大的障碍。

而GPT的腾空出世，为聋哑人的语言交流带来了极大的改善可能。

在方言的学习上，GPT的语言深度学习能力十分有优势。

它可以通过足够多的方言文本数据来进行知识输入，比如方言的书籍、文章、对话、歌词等，自行学习方言的词汇、语法、语音、语境等特征；

它可以掌握一定的方言知识，比如方言和标准语的对照、方言和地域的关系、方言和文化的背景等，更好地理解方言的含义和用法。

它还可以灵活地使用方言进行交流，根据不同的场合和对象来选择合适的方言表达方式，根据上下文来推断方言的意图和情感。

在“非手部信息”的学习上，GPT的多模态识别能力可以发挥强大的作用。

它可以处理不同类型的输入，比如文本、图像、音频、视频等，现在You*T*、TikTok上面有大量的手语短视频，能让GPT快速扩展自己的手语知识面，提高手语理解能力。

GPT可以通过视频观察手语的动作和表情，从而学习手语的语法和语义，这比单纯通过文本或图片学习更加直观和有效。

GPT可以通过视频理解手语的情境和文化，从而增强手语的交流和表达能力，这比单纯通过知识或规则学习更加丰富和灵活。

因此，GPT经过大量训练后，将为聋哑人与无障碍者交流带来极大的便捷。

04  GPT成为“手语翻译师”的意义

事实上，在GPT诞生之前，人类也已经为聋哑人的境遇努力改变过。

比如中国第一位手语律师——唐帅，用10多年的时间，学习了全国各个地方的手语方言，为近16万聋哑人提供了法律咨询和援助。

他还积极培养聋哑律师，培养的学生之一——谭婷，成为中国首位通过司法考试的聋哑人。

但是，依靠人来培养，所需的时间很长，涉及的知识面也始终有限。

而GPT可以成为一名更专业的“手语翻译师”，为聋哑人的生活带来更多改变。

除了法律场景，GPT还有更多可应用的场景，比如：

• 医疗场景：GPT帮助医生或护士更好地理解聋哑人的手语，避免诊断错误；
• 救援场景：GPT帮助人们更好地理解聋哑人的手语求助信息，及时采取救援；
• 金融场景：GPT帮助银行工作人员准确理解聋哑人的手语，避免业务办理错误；
• 工作场景：GPT帮助聋哑人与工作中的同事或客户沟通，用手语表达自己的需求；
• 学习场景：GPT帮助聋哑人与课堂上的老师或同学交流，用手语提问或回答问题；
• 借阅场景：GPT帮助聋哑人与图书馆工作人员沟通，更顺畅地寻找资料；
• 运动场景：GPT帮助教练或裁判准确理解聋哑人的手语，避免指导错误或判罚错误。

我们欣喜地发现，GPT可覆盖的场景愈发多元化；

我们满心地期待，GPT可以为人类生活带来更多有意义、有价值的帮助，人类也无需在这个科技革命面前踌躇不前，害怕坠入被AI反噬的万丈深渊。

技术照亮生活，让人们在困境中找到出路。

也许GPT正是那一束光，为这个“无声的世界”带来一丝温暖与希望。

​Read More