乐火资讯百科网欢迎您!
搜索
当前所在位置: 首页>数码科技

“动动嘴皮子”,AI就能知道你在说啥

发布时间:2023-03-15 来源:科技日报 点击:(30141) 【 字体:

  虽然电视剧《狂飙》已经迎来了大结局,但热度仍然没有丝毫减弱,有的网友利用剧中人物创作娱乐视频,也有的网友剪辑其中精彩片段。不过,还有一些“较真”的网友,发现《狂飙》中的一些人物对话,配音和嘴型对不上,于是便想通过人工智能进行唇语识别,还原最初的剧本情节。


  然而,AI读唇语并非只能被用于破译“隐藏剧情”。据统计,我国听力残障人口超过2054万,除了主要的手语交流外,读唇语也是他们重要的沟通方式。但人工解读唇语容易受到个人经验、视觉感受能力、语言理解能力等因素影响,在正确率方面差强人意,于是人们开始尝试利用AI技术来解读唇语。


  比唇语专家更懂唇语


  “所谓AI读唇语,即人工智能唇语识别,其核心技术框架为视觉识别和自然语言处理。”北京理工大学计算机学院副教授、网络与安全研究所所长闫怀志介绍道,具体而言,就是利用机器视觉技术,将人脸从图像中连续识别出来,并提取其中连续的口型变化特征,输入至唇语识别模型,辨识出该人物口型对应的发音,进而输出可能性最大的表达语句。


  “视觉识别和自然语言处理分别有着庞大的技术体系和不同的技术路线,但究其本质,都是通过大量的唇语数据来训练AI模型,力求文本输出的准确性。”闫怀志补充道。


  近几年,不断有AI巨头开始在唇语识别赛道上作出尝试。谷歌旗下Deep Mind公司就与英国牛津大学合作,研发出了一款AI读唇语软件,通过让AI读唇语软件“收看”数千小时的电视节目来训练其唇语识别能力。有意思的是,在随机抽取200个视频片段的读唇语测试中,AI读唇语软件的准确率达到了46.8%,而经过专业训练的人类读唇语专家,准确率仅为12.4%。


  为何AI读唇语能够悄然兴起?闫怀志给出了自己的分析:一是强烈的需求牵引,二是巨大的技术推动。从需求牵引来说,唇语识别不仅可为部分残障人士提供方便,更可以在公共安防等诸多领域发挥巨大作用;从技术推动来说,由于AI算法、算力以及数据瓶颈被不断突破,使得AI技术在唇语识别领域取得较大成功成为现实。


  众多难题有待突破


  不过,闫怀志也表示,目前我国人工智能唇语识别技术尚处于起步阶段,若想利用人工智能准确地识别唇语,还有很长的路要走。


  从语言本身来看,人类语言具有较高的复杂性,在人类话语所涉及的所有音标中,仅有30%左右是直接由人类嘴唇来控制的,70%是难以通过肉眼,甚至是机器视觉区分的齿音、舌音以及喉音。而且,不同人说话的语气、方言、连词、口音,乃至胡须遮盖等因素,都会导致嘴型的细微变化,而恰恰是这种细微变化,会严重影响人工智能对于唇语的识别和判断。


  从技术层面来看,人工智能采集唇语的环境通常较为复杂,若想精准识别难度很高。以目前的人工智能技术而言,对于长句、复杂句式等的识别水平不尽如人意,更不用说还存在着多场景识别、多人像唇语识别等问题。


  闫怀志表示,只有解决了上述问题,AI读唇语才能得到突破性提升,迈向成熟发展阶段。


  人类不同语种之间千差万别,AI能读懂每个语种的唇语吗?


  闫怀志介绍,此前较为成功的AI读唇语系统大多仅限于英语模型,这是因为多数AI模型都是基于英语数据训练而得。但是,从技术框架上来说,不同语种的训练模型是基本一致的,或者说可以依赖于同一类技术手段来实现。


  当然,为了适应不同语种的唇语识别,也需要作一些适应性调整:一方面要选择对应语种的数据进行有针对性的训练;另一方面,还需要对AI模型进行调整,比如纳入时间屏蔽、优化语言模型以及改进超参数等。


  此外,同一语种也会有不同口型,即便口型类似,也可能代表着完全不同的意思。因此,成熟的AI读唇语系统需要大量的唇语特征样本数据,并尽可能地覆盖多种应用场景、多类型的说话人群,借此来提升训练后的唇语识别模型的泛化能力,提高AI读唇语对于不同口型和不同表意语言的识别准确率。


  亟须监管的技术双刃剑


  尽管存在种种难题,但仍有越来越多的AI企业开始涉足并计划深耕人工智能唇语识别赛道。目前来看,各大AI巨头的选择不尽相同,具体可分为唇语数据、唇语视频识别、唇语理解等。


  闫怀志也表示,目前许多人工智能唇语识别技术领域已实现初步突破,全链条集成前景可期,产业集群正在逐步形成。


  从应用场景来看,AI读唇语在社会公益、公共安全等领域都已开始崭露头角。从目前各大巨头的布局以及相关技术的发展趋势来看,AI读唇语预期可在身份识别、国家安全、智慧系统等方面具有广阔的应用前景。“可以想见,由于公益、公共安全、国家安全等领域巨大的潜在需求的牵引,以及AI技术飞速发展的强力推动作用,在不久的将来,AI读唇语有望实现快速推广与深度普及,产业前景十分可期。”闫怀志说。


  例如,在安防安监领域,很多安监场景噪音较大或仅有视频信号,无法准确捕捉声音,人工智能唇语识别技术就能派上用场;在身份识别领域,可以利用AI读唇语来实现口型支付密码输入,“动动嘴唇”就能实现身份识别和支付交易;在公共安全领域,利用AI读唇语,可以在各类视频中分析案件当事人的唇语信息,辅助案件侦查工作;在智慧系统领域,可利用AI读唇语来实现“无声胜有声”——只依靠口型来控制智能设备,比如智能家电等。


  当然,技术应用是把双刃剑。很多人担心,AI读唇语会使人们对话中的隐私内容遭到泄露,无论当事人是公开发言、窃窃私语或是自言自语。“张张嘴”就被别人窃取聊天内容,仔细想来确实可怕。


  闫怀志表示,这种担心并非杞人忧天。AI读唇语导致的隐私泄露,一方面可能是有人恶意进行唇语获取识别,另一方面也可能是正常使用的AI读唇语系统,但其中的存储、使用等环节保护不当,导致相关数据被窃取或滥用,进而对个人权益造成损害。而且,由于涉及到当事人的对话内容,具有明显的方向性,这种隐私泄露的危害性可能要比普通的个人信息泄露更为严重。


  因此,闫怀志建议,应从隐私安全保护的角度,在管理层面加强相关法律法规的制定,严格规范和约束AI读唇语的应用场景、范围和目的,加大对技术恶意利用的监管和惩戒力度。此外,还要在技术层面加强AI读唇语系统的安全保护体系建设,以技术手段提高系统的识别精准度,避免技术滥用,切实保障用户对话的内容安全。(记者 翟冬冬)


猜你喜欢

第五届中国工业互联网大赛无锡赛站决赛举办

第五届中国工业互联网大赛无锡赛站决赛举办

以“数字赋能 智创未来”为主题,由工业和信息化部、国务院国有资产监督管理委员会、中华全国工商业联合会等单位主办的第五届中国工业互联···
2023-12-08
点击 856
消息称《光环》和《战争机器》今年都要登陆PS5平台

消息称《光环》和《战争机器》今年都要登陆PS5平台

今日早些时候,业内知情人士NateDrake报道称,Xbox主机独占游戏《光环:士官长合集》将于2025年登陆PS5平台。似乎另一···
2025-01-13
点击 48
索尼高管谈《星鸣特攻》失败:会继续专注在线服务游戏

索尼高管谈《星鸣特攻》失败:会继续专注在线服务游戏

近日SIE联席首席执行官赫尔曼·胡尔斯特(Herman Hulst)接受日媒Fami通采访,他谈到《星鸣特攻》的失败,以及Play···
2024-12-30
点击 80
浜口直树:《最终幻想7》重制版第三部开发非常顺利

浜口直树:《最终幻想7》重制版第三部开发非常顺利

据《最终幻想7》重制三部曲的监督浜口直树透露,该三部曲第三部的开发“进展顺利”。《FAMI通》推出了其年度年终专题,在这个专题中,···
2024-12-30
点击 72
网传:游戏大奖TGA2024将公布“重磅”消息

网传:游戏大奖TGA2024将公布“重磅”消息

网传:游戏大奖TGA2024将公布“重磅”消息距离游戏大奖颁奖典礼还有不到一周的时间,这也意味着未来几天我们将看到一些游戏的新细节···
2024-12-09
点击 93
复旦教授称中国退休年龄还是太早,建议推行延迟退休制度

复旦教授称中国退休年龄还是太早,建议推行延迟退休制···

在当今这个快速发展的时代,退休年龄问题成了一个热门话题。复旦大学的一位教授彭希哲,这位在学术界有着丰富成就的资深教授,近日就提出了···
2024-01-10
点击 328
相关推荐

少年得到:让更多孩子有机会接触到更好的教育资源

少年得到:让更多孩子有机会接触到更好的教育资源
  编前语:面对新冠疫情的持续冲击、世界经济的持续疲弱,过去一年,我国经济仍然实现同比3%的增长,经济总量再上新台阶。这殊为不易的成绩,是我们开拓前进的信心所在。信心,比黄金更宝贵。2023年,我们面对的需求收缩、供给冲击、预期转弱三重压力仍然较大,动荡不安的外部环境给我国经济带来的影响也在加深。然而,中...

湖南长沙臭豆腐:湘菜中的独特风味

湖南长沙臭豆腐:湘菜中的独特风味
长沙臭豆腐作为湘菜中的标志性小吃,以其“闻着臭、吃着香”的独特风味闻名全国,2021年其制作技艺被列入国家级非物质文化遗产名录。这道美食不仅承载着深厚的湖湘文化底蕴,更以其复杂的制作工艺和层次丰富的口感,成为长沙饮食文化的缩影。一、历史渊源与文化地位长沙臭豆腐的历史可追溯至清朝道光年间,湘阴县姜氏家族因...

春季防晒必备4条小知识 春季防晒吃什么食物好

春季防晒必备4条小知识 春季防晒吃什么食物好
春季防晒的重要性冬天的紫外线最少量,再加上穿的衣服又多,隔绝了皮肤与阳光的接触,所以皮肤会恢复自身的最白色度。好不容易才白了,春天的紫外线又开始增加了。虽然地区不同所产生的量也会不同,但是大概4-5月开始紫外线的量就会猛然增加了。很多人在不知不觉中被紫外线“伤了”脸,造成皮肤一天比一天暗沉,冬季的白皮肤...

《暮色心约》刘瑕为什么辞职做工作室

《暮色心约》刘瑕为什么辞职做工作室
《暮色心约》刘瑕辞职做工作室因为自己和杨主任理念不和。 杨主任询问刘瑕到底是对哪不满意,如果有可以提出来他会尽量满足,无法决定的时候他可以向上面反应,刘瑕表示公司有公司的定位,自己也有自己的定位。刘瑕也来到这里见到景哥,他质问刘瑕为什么辞职做工作室,杨主任对她...

岘港旅游攻略推荐 岘港的位置

岘港旅游攻略推荐 岘港的位置
岘港位于越南的中部,是越南的第四大城市,也是一座海滨城市,面积为1,285.4km²。这里地势险要,是越南的海军基地,可以停靠万吨级军舰。另外,这里除了是海军基地,还有着美丽的沙滩,拥有“最美海岸线”的称号。岘港是越南最干净最有活力的城市,位于越南的中部,是越南的第四大城市。这里有着长达30公里的海滨沙...

电视剧《三体》 展现中国式硬科幻的影像魅力

电视剧《三体》 展现中国式硬科幻的影像魅力
2023年开年以来,电影《流浪地球2》票房不断刷新,电视剧《三体》迎来口碑热度双丰收。两部作品走出国门,成功“出海”,让世界看到中国科幻的影像魅力。历经七年打磨,《三体》这部备受瞩目的科幻剧以高分收官,这部国产科幻影视改编剧的影响却还在延续。近日,由中国电视艺术委员会主办的电视剧《三体》研讨会在京举办,与...

如何衡量和规避筹资风险?

如何衡量和规避筹资风险?
如何衡量和规避筹资风险?筹资风险是指企业在筹集资金的过程中面临的各种不确定性和可能带来的不利影响。衡量和规避筹资风险是企业财务管理中的重要任务。以下是衡量和规避筹资风险的方法:一、衡量筹资风险1、财务比率分析资产负债率:衡量企业负债与总资产的比例,反映企业负债水平。资产负债率过高可能增加偿债压力。流动...

《博德之门3》官方Mod工具将于9月推出 延续游戏生命力

《博德之门3》官方Mod工具将于9月推出 延续游戏生命力
《博德之门3》官方Mod工具将于9月推出 延续游戏生命力近日拉瑞安官方宣布,《博德之门3》下一个重大更新将包括官方Mod工具,该更新将于9月上线。Mod工具推出后,将进一步延续游戏生命力,提高可重复游玩性。《博德之门3》官方Mod工具将首先在PC平台推出,稍后在PlayStation、Xbox和Mac平台推出支持。除了Mod工具,新更新还将...

任天堂 Switch 游戏《超级马力欧派对 空前盛会》发售,429 港币

任天堂 Switch 游戏《超级马力欧派对 空前盛会》发售,429 港币
任天堂 Switch 游戏《超级马力欧派对 空前盛会》发售,429 港币10 月 16 日消息,《超级马力欧派对 空前盛会》是一款由任天堂开发并在 Switch 平台上发行的派对游戏,10 月 17 日正式发售。本作港区定价 429 港币(备注:当前约 393 元人民币),日区 7100 日元(当前约 339 元人民币),实体版 7128 日元(当前约 340 元人...

植绒是什么面料 植绒面料是哪种面料

植绒是什么面料 植绒面料是哪种面料
植绒是以各类布料为底布,正面植上尼龙绒毛或粘胶绒毛,然后经过烘蒸和水洗加工而成的种面料。这种面料绒面丰盈、手感柔和,而且色泽艳丽,其风格也很别致。其用途广泛,类型品种也很多,常见的植绒面料有印花、彩格、柳条等。植绒面料的用途是非常广泛的,是制作冬季女士套装、裙装、童装的理想面料,也是沙发靠垫、坐热等...
返回顶部