Meta发布 AI 模型SeamlessM4T,可转录和翻译近100种语言|钛快讯
(图片来源@视觉中国)
钛媒体App获悉,当地时间8月22日,科技巨头Facebook母公司Meta 对外发布了一款最新人工智能(AI)翻译引擎SeamlessM4T,可以更轻松地跨文本语音翻译和转录近100种语言。
(资料图片仅供参考)
同时,Meta还公布了新的开源翻译数据集 SeamlessAlign,将44.3万小时的语音与文本、2.9万小时的语音转录数据进行对齐,教会SeamlessM4T如何将语音转录为文本、翻译文本、从文本生成语音。
Meta表示,SeamlessM4T将与SeamlessAlign一同开源。SeamlessM4T代表了 AI 技术驱动的“语音到语音”和“语音到文本”领域的“重大突破”。
据悉,作为最早投资AI的大型科技企业之一,Meta于2013年成立了 AI 基础研究实验室,聘请了AI领域的顶级学者,有大量社交与元宇宙算法,推出Pytorch框架、Zion等软硬件产品。不过,虽然Meta在AI领域也取得了一些进展,但它落后于OpenAI、微软、谷歌等公司。
随着ChatGPT风靡全球,Meta AI团队正在加紧追赶,以及重新组合其关于语言、对话等领域与大模型相关的研究。
去年底之后,Meta陆续发布No Language Left Behind(不留语言)文本到文本的机器翻译模型,支持200种语言,以及开发多语言数据集SpeechMatrix、生成文本到声音的AudioCraft等。另外在今年7月,Meta还发布开源对话大模型Llama 2,引发广泛讨论和关注。
此次公布的SeamlessM4T,建立在Meta AI翻译模型的技术能力基础上,并重新设计Fairseq序列建模工具包,以创建更轻量级的模型和处理更多信息。Meta表示,SeamlessM4T从“爬取的网页数据的公开可用存储库中”收集了400万小时的“原始音频”,该模型可以在近100种语言之间进行文本到语音的翻译,并支持35种语言的完全语音到语音翻译。
对于安全性和脱敏性,Meta表示,在开发SeamlessM4T时,团队构建了一个可以识别敏感词系统,目标是能够过滤了训练数据中不平衡的数据信息,从而检测和输出正确的翻译内容。而且,Meta研究人员还尝试清理误译一些脏话的数据集,以便更准确地检测何时使用。
Meta研究科学家负责人Paco Guzman表示,SeamlessM4T的一大突破是它不依赖中间模型来产生结果,这使得它更加灵活,甚至支持动态更改语言。这将促进更多人使用其进行日程对话。
不过,Meta建议不要使用SeamlessM4T进行长篇翻译,政府专用的认证翻译,以及不鼓励出于医疗或法律目的部署该模型,原因或与专业领域的翻译准确度有关。科技网站《对话》(theconversation)最近表示,AI 翻译有许多缺陷,包括不同形式的性别错误和偏见、语音识别算法偏差等。
据报道称,Meta后续将把这些翻译和转录方面的 AI 进展,整合到Facebook、Instagram、WhatsApp、Messenger和Threads等产品当中。
(本文首发钛媒体App,作者|林志佳,编辑|马金男)
关键词:
相关阅读
-
Meta发布 AI 模型SeamlessM4T,可转录...
钛媒体App获悉,当地时间8月22日,科技巨头Facebook母公司Meta对外发布 -
皇氏集团(002329.SZ):积极寻求乳业扩张...
格隆汇8月23日丨有投资者向皇氏集团(002329 SZ)提问,“近期海南海垦集 -
京四郎与永远的天空sp 京四郎与永远的...
1、总的来说是少女向,有战斗但个人感觉不够热血==最后还是很美好地结 -
山东工商学学院 山东工商管理学院
1、不怎么样,这是个专科学校,不能参加普通高考的本科招生,只能招收 -
武磊和哈维尔成罪人!主场亚冠资格赛爆...
武磊和哈维尔成罪人!主场亚冠资格赛爆冷被淘汰,被批得体无完肤 -
2023服贸会首设“老字号”展区,还有秋...
记者从今天下午举行的2023年中国国际服务贸易交易会供应链及商务服务专 -
阿根廷、埃及、埃塞俄比亚、伊朗、沙特...
阿根廷、埃及、埃塞俄比亚、伊朗、沙特阿拉伯、阿联酋获邀加入金砖国家 -
踢球者:凯恩签约次日球衣销量创纪录,...
踢球者:凯恩签约次日球衣销量创纪录,拜仁或因他吸引新经济伙伴,拜仁, -
无框全屏iPhone来袭!三星确认正在开发...
无框全屏iPhone来袭!三星确认正在开发无边框全屏,可适用iPhone,手机, -
芝麻信用浦发灵芝快贷怎么还款-芝麻信用...
标题:芝麻信用浦发灵芝快贷怎么还款-芝麻信用浦发灵芝快贷怎么还款啊 -
豆瓣8.8、票房第7,《我和鬼》为何创造...
豆瓣8 8、票房第7,《我和鬼》为何创造华语恐怖新纪录?,电影,豆瓣,票 -
菲律宾与中国的时差(菲律宾时间同中国...
菲律宾与中国的时差,菲律宾时间同中国时间差多少这个很多人还不知道, -
亚光股份上半年净利润为7799万元,同比...
亚光股份上半年净利润为7799万元,同比增长30%,总资产,亚光股份,公司股东 -
窗口切换快捷键ctrl加什么_在窗口之间切...
1、通常,打开的每一个窗口都会在任务栏上显示出来,所以要在窗口间切 -
爱奇艺和快手都赚钱了,长短视频的电商...
可以说正式步入成年,以爱优腾为首的长视频平台,在内容生产和商业化方 -
云南电信:加速领跑教育信息化迈入云网...
近日,中国电信云南昆明分公司成功签约云南某职业学院智慧校园建设与运 -
杭州口岸迎首批使用杭州亚运会身份注册...
“您好,您的入境手续已办理完毕,欢迎来到杭州!”24日,13名持杭... -
火箭猪是什么意思_火箭猪
1、火箭猪是QQ表情基本上没什么作用。本文到此讲解完毕了,希望对大家 -
抓住暑期的尾巴,在东营来一场说走就走...
转眼夏天已过暑期也即将结束抓住暑期的尾巴再静听一次蝉鸣许下秋天的第 -
人到中年,凡是治愈,都是自愈
中年人哪有轻松的时候,上有老下有小的年纪,烦心事层层叠叠、压得人喘