Meta

Meta上周（11/30）公布翻译AI模型套件Seamless Communication，包含提供更精准再现说话者情绪、及延迟仅2秒的几近同步翻译能力的新模型，支援近百种语言输入。

Seamless Communication为Meta为庆祝其AI研究机构基础AI研究（Fundamental AI Research，FAIR）成立10周年而发表的研究成果之一。Seamless Communication是以8月公布的多语双模（文字、语音）翻译模型SeamlessM4T第2版为基础而发展出的套件，号称能在翻译时保存不同语言的说话表情，以及说话者讲话同时加速翻译。

这个套件其实由4个模型组成，其中之一是SeamlessM4T第2代，以及SeamlessExpressive、SeamlessStreaming与Seamless。SeamlessExpressive是一种口译模型，解决传统AI翻译时无法抓住声音语调、停顿和重点，而失去情感和意图的重要讯号的问题。SeamlessExpressive是第一个掌握跨语言表情的公开系统。它使用的模型能保存说话者情绪、风格、说话速度、停顿和节奏，又能维持翻译品质。目前SeamlessExpressive支援英、中、西、法、德、义语。

SeamlessStreaming是同步翻译模型，主打2秒延迟的语音和文字翻译，可支援口译（speech-to-speech translation，S2ST）、听写翻译（speech-to-text translation，S2TT）及自动语音辨识（Automatic speech recognition，ASR）。在後二种任务上，SeamlessStreaming支援将近100种语言输入及输出，而在口译同步翻译则支援100种语言输入、36种语言输出。最後一种模型Seamless则是融合这三种语言模型於一。

Meta也将示范影片公布在GitHub以及HuggingFace网站上。