OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

OpenAI雪藏的新产品——语音合成引擎Voice Engine,终于被正式揭幕。有了它,只需15秒的语音样本,就能克隆出一个人的声音,而且还能跨越语言!APP版ChatGPT中的语音对话功能,也正是由这项技术所驱动。效果如何?先来听段DEMO:Salt also makes sure we sta

OpenAI雪藏的新产品——语音合成引擎Voice Engine,终于被正式揭幕。

有了它,只需15秒的语音样本,就能克隆出一个人的声音,而且还能跨越语言!

APP版ChatGPT中的语音对话功能,也正是由这项技术所驱动

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

效果如何?先来听段DEMO:

Salt also makes sure we stay hydrated which means there is enough water in our body for it to properly function.盐分也可以保持人体内的水分,确保其满足正常功能的需要。

而OpenAI通告显示,他们在2022年底就已经开发出了这项技术,但出于安全考虑一直没有正式发布。

这次,OpenAI终于官宣了Voice Engine,并展示了小规模测试中的几个应用案例。

比如,一家非营利医疗机构就利用这项技术,为一名年轻的病人恢复了她的声音。

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

另外值得一提的是,去年爆火的视频翻译软件HeyGen,采用的语音引擎也正是Voice Engine。

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

那么,这次OpenAI还展现了哪些效果,下面就来一睹为快。

用AI帮助病患恢复声音

首先是利用基础的语音合成能力,为儿童等不具备文字阅读能力的群体提供阅读辅助

比如一家儿童教育技术公司,就一直在使用Voice Engine来给编写好的画外音内容配音。

DEMO中生成的大段内容,都是基于这样一段15秒的样本:

然后,就可以合成相同音色的长段语音:

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

再来看看HeyGen中用到的的语音翻译技术,原始素材是一段英语的音频:

它被用原始的音色,翻译成了普通话、法语、德语等多种语言。

忽略译文的质量,只听声音,中文的效果是这样的:

音色保持的还算不错,不过腔调很明显一听就是外国人在说中文。

至于这到底是个bug还是个feature,就见仁见智了(手动狗头)。

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

此外,一款名为Livox的残障人士辅助应用,也利用Voice Engine为不能说话的残障人士“发出声音”——

在有了Voice Engine之后,TA们可以选择专属的真人音色,而不再是机械感明显的合成音,并且在各种语言之间都能保持音色的一致性。

不只是帮助残障人士拥有自己的声音,Voice Engine还可以为因疾病导致声音发生在重大改变的人群,恢复患病之前声音,只要有以前的声音样本就能实现。

一名年轻的患者因罹患血管性脑肿瘤,失去了流利讲话的能力,说话变成了这样:

医生从她所在学校录制的视频中提取到了她患病前的声音作为样本,在Voice Engine的帮助下为她恢复了此前的音色。

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

此次发布的案例,特别是为不便人士提供帮助的场景受到了不少好评,但也有网友对这项技术的滥用表达了担忧。

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

安全问题需要全社会共同关注

实际上,安全问题也是OpenAI迟迟未将这项技术公之于众的主要考量。

出于安全考虑,前面案例的开发者都经过了OpenAI的严格筛选,并且需要承诺遵守使用协议。

这些开发者被要求必须明确说明声音是合成的,并且设定了黑名单以防止克隆公众人物声音。

此外,OpenAI还向合成的声音中添加了水印,以便出现问题时可以进行检测监控,同时呼吁人们采取措施共同应对这一问题:

在银行等敏感信息的安全验证措施中逐步淘汰语音验证方式

探索AI时代下个人声音的保护措施

教育公众理解AI的局限性,并了解其被用于欺诈的可能

加速开发跟踪溯源技术,让人们能够清晰辨别出真人和AI

OpenAI藏了1年多的技术正式公开!15秒素材克隆声音,HeyGen也在用

参考链接:https://openai.com/blog/navigating-the-challenges-and-opportunities-of-synthetic-voices

(0)
小多多的头像小多多创始人

相关推荐

  • 把储能卖给非洲家庭,也难了

    欧洲户用储能市场“急冻”之后,中国户储庞大的产能还能往何处去?自2022年开始,非洲经济最发达的国家——南非成为了中国户用储能的新“热土”。南非电力供应的严重短缺和安装激励政策,推动了南非光储市场的快速爆发,一些抓住风口的中国户储企业在这片土地上赚得盆满钵满。德业股份是典型代表,早在2019年就通过

    2024年6月13日
  • 光谷设立三只国企主导天使基金

    投资界(ID:pedaily2012)消息,6月6日,中国光谷天使投资高峰论坛暨光谷天使基金启动仪式成功举行。据悉,东湖高新区内国资平台主动作为,发起设立三只国企主导的天使直投基金,聚焦“投早投小投科技”的策略,重点支持关键核心技术研发和科技成果本地转化,为初创企业提供及时、有效的资金支持,助力企业

    2024年6月7日
  • 从手机到车圈,小米和华为的相爱相杀

    高管们在汽车发布会上“互怼”,或将成为一种行业常态。前不久,华为举行鸿蒙生态春季沟通会,并发布多款新产品。发布会上,华为常务董事、消费者BG CEO、华为智能汽车解决方案BU董事长余承东与奇瑞汽车董事长尹同跃,“二次”发布了合作的*智慧轿车智界S7。据了解,重新发布的智界S7共推出5款车型,其中新增

    2024年4月17日
  • 贵州航空港创投基金招GP

    关于公开遴选贵州双龙航空港经济区创业投资基金首批子基金管理机构的公告为贯彻落实《贵阳市人民政府贵安新区管理委员会关于推进政府投资基金高质量发展的指导意见(试行)》精神,加快推进贵州双龙航空港经济区经济、社会与产业发展,贵州双龙航空港经济区创业投资基金(以下简称航空港创投基金)拟面向社会公开征集、遴选

    2024年3月15日
  • 刘强东「绝不躺平」,京东呢?

    “这一切都是我的错,我很自责。”刘强东一封“罪己诏”,干掉京东200多亿市值。12月9日,京东创始人、董事局主席刘强东在公司内网回复员工的千字长文,立下“绝不躺平”誓言。“群臣吏民能面刺寡人之过者,受上赏;上书谏寡人者,受中赏。”《邹忌讽齐王纳谏》中描绘的景象,如今正在互联网的电商帝国里频繁上演,一

    创投 2023年12月15日
  • 维也纳酒店连续四次荣获“年度杰出影响力酒店品牌”奖项_行业动态

    日前,2023 AHF亚洲酒店及旅游业论坛暨第十八届中国文旅星光奖颁奖典礼在上海圆满落幕。在颁奖典礼上,维也纳酒店凭借卓越的品牌实力,从众多…” />
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8

    创投 2023年4月18日
  • 曾与沃尔玛掰手腕,人人乐没落了

    曾与沃尔玛掰手腕,人人乐没落了,作为曾经的华南超市巨头之一,人人乐有其过人之处,但经历同行竞争、卖场式微、管理混乱、供应商撤出等一系列重创后,早已不复当年,至于曲江文投是否能盘活人人乐,还有待时间验证。

    2023年4月26日 创投
  • 警惕“吃”出来的高血脂!舒百宁纳豆红曲胶囊辅助降血脂有妙招_行业动态

    烧烤、小龙虾、啤酒、冷饮……炎炎夏日,很多人时常会约上三五好友撮一顿,好不惬意。但是暴饮暴食,高油脂、高蛋白、酒精等大量摄入,很容易引发高血…” />
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8

    创投 2023年7月24日
  • 药王踩了一脚刹车

    3月8日,在眼睁睁看着对家诺和诺德股价暴涨的同时,礼来迎来了当头另一棒:FDA决定推迟礼来新药donanemab(以下称多奈单抗)的上市批准,并将组织外部专家会议讨论该药物的安全性和有效性。众所周知,礼来登顶全球纯药企市值*,除了GLP-1减重药这个基石之外,多奈单抗在阿尔兹海默症的潜在市场前景也成

    2024年3月15日 创投
  • 房产税如何计算 计算方法有以下两种

    房产税如何计算?据悉根据税法规定,房产税的计算方法有以下两种: (一)按房产原值一次减除30%后的余值计算 其计算公式为: 年应纳税额=房产账面原值×(1-30%)×1.2% (二…

    2022年1月25日
  • 烤红薯,进化成打工人的轻奢

    【冰淇淋红薯】,高配版来自无印良品,一个25元让年轻人转身向雪王走去。“不是muji吃不起,实在雪王更有性价比”,一份15元还带一堆小珍珠的自制版快速走红,硬是在大冬天为冰淇淋冲了一把销量,但因又冷又热被质疑此单品的大火其实在为厕所拉赞助;图源小红书@抹茶味的夏天到了【花式红薯】,花在了“薯盖”上,

    2023年11月22日 创投
  • 全民山寨时代,有多少个「周口杰伦」

    ‍‍‍‍‍‍‍‍‍‍‍‍‍最近,山寨网红悄然成为了短视频软件中的全民流量密码。与以往曾经在短视频中爆火的个别网红,诸如模仿鹿晗的“鹿哈”、cosplay紫薇的“小林心如”、长相酷似张翰的“佛山电翰”等等不同的是,这一次的“明星模仿秀”是一场极其盛大的全民娱乐。不仅模仿者甚众、被模仿者也囊括了三教九流

    2024年5月15日
  • 大额可转让定期存单与定期存款的区别介绍-财经

    银行的的定期存款,大家都了解,也可以成为定期存单。有些定期存单是可以转让的,大额可转让定期存单和我们熟悉的定期存款有什么区别?本文将为大家介绍大额可转让定期存单与定期存款的区别,下…

    创投 2022年1月25日
  • 转向更卷的奶茶,库迪这是要在咖啡上认怂?

    卖咖啡刚满一年,陆正耀就带着名为“茶猫”的奶茶项目再度登场。根据多位网友的爆料,茶猫采取和库迪咖啡一样的联营商模式,且有低价补贴策略,主打低价茶饮市场,全场统一定价6.9元。熟悉的加盟模式,熟悉的补贴策略,甚至首批门店还会优先开放给库迪联营商,让他们看起来多了一个可以挣钱的业务。只是,从全国各地都出

    2023年12月1日 创投
  • 杭州富阳引导金要出资碧水泉基金

    投资界-解码LP获悉,近日,杭州市富阳区人民政府发布公告,公示了富阳经济技术开发区产业引导基金拟参股投资子基金,引导金拟2000万出资浙江碧水青玥科技创业投资合伙企业(有限合伙),基金管理机构为上海碧水泉私募基金管理有限公司(简称:碧水泉基金)。据悉,碧水泉基金创立于2022年10月,总部位于上海,

    2024年4月19日