让“无声世界”感受赛场魅力!带你看看冬奥手语数字人有哪些奥秘******
2022年2月4日,第24届冬季奥林匹克运动会在北京举行,让世界目光再次聚焦中国。本届北京冬奥会秉持绿色、共享、开放、廉洁的办赛理念,凝聚中国科技力量,面向世界、面向未来,向全球奉献了一场精彩、非凡、卓越的奥运盛会。
本届冬奥会运用最新科技手段,为全世界观众提供了惊艳的现场转播和全方位覆盖报道,北京冬奥会也成一场上科技含量高的奥运会。赛事活动期间,为了让各类人群都能平等地享受本届冬奥盛会,北京电视台上线了智能手语播报数字人,在《北京新闻》和《北京您早》等节目中进行冬奥专题手语播报,为听障人士带来精彩赛事报道。
最新数据显示,我国听障人群超过2700万,这部分人群与健听人一样,他们对教育、社交、娱乐等信息获取都有巨大的需求。但长期以来,传统人工手语翻译工作量大,且主持人和手语主持人配合难度极高。手语动作表情复杂,语序与正常语序差异大,正常情况下想要熟练掌握手语大约需要2年左右的时间,还要结合语境进行猜测。
受北京市科委科技冬奥专班委托,北京电视台联合凌云光、智谱AI等业内科技公司,在北京市残疾人联合会和市残联聋人协会等支持下,用3个多月时间,让手语播报数字人完成了近10万条手语语料学习,且翻译准确率高达90%。
在如此短的时间内实现这项高难度动作,智能手语数字人是如何做到,在这背后又有哪些技术创新难点?
在多位业内人士看来,近年来人工智能体系建设重点布局在算法层和应用层,数据层建设远远不足,并且针对数字人相关产业,底层数据库的数量、质量和开源程度还明显不足。尤其是国内现有的手语语料数据库数量少,且多以图像、视频等二维平面为主,无法满足AI(人工智能)训练的需求。
同时,因手语语序与中文语序差异大,方言分化更加复杂,且需要通过表情、口型、动作等方式来传达信息。除了传统的二维平面图像、视频采集,三维肢体运动、表情信息数据采集及结构化参数表达外,手语语料数据库建设对三维运动信息捕捉也十分重要。
凌云光手语数字人产品相关负责人介绍,在建设高质量手语语料库的同时,他们充分调研了2022北京冬奥专用手语术语,并联合北京市残联、聋人协会等相关组织机构,进行数据标注,建设手语语义映射关系,不仅完善了国内手语数据库的建设,也为手语推广和AI研究留下了宝贵的数据资产。
该负责人举例说,基于“悟道2.0”超大规模人工智能模型的技术支撑,手语数字脑用计算机模仿听障人士的大脑,将看到的中文文本信息转换成手语词汇序列,包括中文语义蒸馏模型和AI手语分词快编算法的研究。中文语义蒸馏模型用于从输入的文稿或文本中提取出关键的语义信息,将中文文本语义提炼和精简,形成精准匹配适合手语表达的文本;AI手语分词快编算法则用于将蒸馏得到的中文文本,根据冬奥手语语料库划分成相应的手语词汇序列,供数字人做表达输入。
该负责人还提到,数字人是冬奥手语播报的载体和展现形式,通过高精度写实数字人全流程制作方案,可实现一键数字建模,高度还原真人发肤,重新毛孔等细节,更加真实亲切。同时,通过跨模态拟人生成算法,还可以将手语词汇序列,生成相应的动作信息,驱动数字人模型做出相应的动作、手势和表情。(姚坤森)
【魅力“e”乌镇】创新力拉满!一大波“黑科技”亮相“互联网之光”博览会******
11月8日,作为2022年世界互联网大会乌镇峰会的重要组成部分,“互联网之光”博览会如约而至。移动充电桩、眼动输入仪、碳钎维电动自行车……博览会开展3天来,众多互联网“黑科技”吸引着观众一睹为快。据了解,本次博览会有来自40个国家和地区的400余家中外企业和机构以线下线上结合的方式参展,74家企业发布新技术、新产品及理论成果;同时,首次推出365天不落幕的“互联网之光云展厅”品牌,围绕数字共富、数字双碳、数字健康、数字出行、产业数字化、卫星互联网、网络空间治理等7大主题,以3D、2D相结合作展出。此次博览会线下展览将持续至11日,一起来看看令人目不暇接的“黑科技”!
摩菱智能移动充电桩将新能源汽车快速充电技术与自动驾驶系统结合,可提供灵活、可移动的电动汽车充电服务,缓解社区充电网络不完善、充电桩资源紧张。(光明网记者 潘迪摄/光明图片)
爱普生工业AR眼镜采用硅基OLED纳米级别显示屏,形成120寸AR(增强现实)成像,搭配头戴式设计,使工人在长时间佩戴下保持舒适。工业AR眼镜能够在工厂生产中的产品检修环节,通过实时AR连线,请维修专家远程指导抢修,帮助工业企业降本增效。(光明网记者 潘迪摄/光明图片)
“之江天目”异构智能计算机是为之江实验室研发的全球首台基于开放计算规范的千卡规模液冷智能计算机,该计算机可支撑超千亿参数巨量模型的高效、并行训练。(光明网记者 潘迪摄/光明图片)
中国电科AOE空气消毒机采用活性复合粒子发生技术,主动释放出无毒无害的“活性复合粒子”,主动捕获病毒、细菌和真菌并破坏其化学结构,有效切断病菌传播途径。(光明网记者 赵金悦摄/光明图片)
“飞艇无人机”由桐乡市乌镇鹰航科技有限公司自主研发,通过创新地将飞艇技术和无人机技术相结合,让其既能在空中保持足够的机动能力,又能长时间空中作业。该产品可广泛应用于直播拍摄、巡查测绘、应急通讯等场景。(光明网记者 赵金悦摄/光明图片)
国家电网展示的“水下电缆巡检机器人”主要用于湖泊、河流等水域水下电缆故障巡视和定位查找工作,最大潜入深度可达150米。借助其水下泛光面积大、回传视频清晰、巡检速度快等技术优点,其应用能够大幅提升水下电缆例行巡视维护和故障快速查找及处理效率。(光明网记者 赵金悦摄/光明图片)
这款来自腾讯公司的眼动输入仪吸引了不少人关注。该仪器可精准捕捉残障人士眼球滚动实现打字功能,帮助提升打字效率一倍以上。(光明记者 赵金悦摄/光明图片)
Vivo展出的全场景开放式手车互联组件,可以实现手机与车机间“一键秒传”文件、图片或视频,同时,导航、音乐、通知、日程等功能也可在两者间无缝跨端流转,让手机与汽车在安全、智能的驾驶体验中便捷配合。(光明记者 赵金悦摄/光明图片)
与普通的拍照打卡不同,观众可在展会上的XR元宇宙体验区佩戴MR眼镜,在未来与过去、乌镇水乡与宇宙空间之间自由“穿越”。这项技术基于元宇宙概念,打造5G云XR空间计算平台,通过云AR技术来连接“虚”与“实”。(光明记者 赵金悦摄/光明图片)
这辆智能电动自行车车架均由碳钎维制造,周身仅重15kg,能单手拎起,目前为同类产品中最轻。该产品拥有LED点阵屏、指纹解锁、智能识别声控指令等功能。借助一枚智能传感器实现骑行“千人千面”,为骑行者带来身轻如燕的骑行体验。(光明记者 赵金悦摄/光明图片)
策划:李政葳
摄影:潘迪 赵金悦
文字:孔繁鑫 邱晓琴
(文图:赵筱尘 巫邓炎)