【资料图】

近日，清华大学电子工程系与字节跳动火山语音团队联合推出一款名为SALMONN的开源大语言模型。该模型支持语音、音频以及音乐输入，能够感知和理解不同类型的音频内容输入，并具备多语言语音识别和翻译以及语音推理等功能。据官方介绍，SALMONN目前能够胜任英语语音识别、英语到中文的语音翻译、情感识别、音频字幕生成、音乐描述等重要的语音和音频任务。同时，该模型还展现出多种在模型训练中没有专门学习过的多语言和跨模态能力，包括非英语语音识别、英语到（中文以外）其他语言的语音翻译、对语音内容的摘要和关键词提取、基于音频的故事生成、音频问答、语音和音频联合推理等任务。目前，SALMONN已经在GitHub上发布，官方也提供了项目的演示链接，供感兴趣的人前往了解。