5款爆火开源模型(Fish、F5、GPT、CosyVoice、MaskGCT)效果对比

GPT-SoVITS模型介绍

GPT-SoVITS项目是TTS克隆领域内效果常年霸榜的模型之一，具有以下功能:

• 零样本文本到语音（TTS）: 输入 5 秒的声音样本，即刻体验文本到语音转换。
• 少样本 TTS：仅需 1 分钟的训练数据即可微调模型，提升声音相似度和真实感。
• 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语、韩语、粤语和中文。
• WebUI 工具：集成工具包括声音伴奏分离、自动训练集分割、中文自动语音识别(ASR)和文本标注，协助初学者创建训练数据集和 GPT/SoVITS 模型。

MaskGCT模型介绍

大型文本到语音（TTS）系统通常被分为自回归和非自回归系统。自回归系统隐式地建模了持续时间，但在鲁棒性方面存在一定的缺陷，并且缺乏持续时间的可控性。非自回归系统在训练期间需要显式的文本和语音之间的对齐信息，并预测语言单位（例如音素）的持续时间，这可能会影响其自然性。在10月24日，趣丸科技&香港中文大学提出一种完全非自回归的TTS模型——掩码生成编解码器变换器（MaskGCT），它消除了对文本和语音监督之间显式对齐信息的需求，以及对音素级别持续时间预测的需求。

F5-TTS语音模型介绍

F5-TTS是由上海交通大学（Shanghai Jiao Tong University）、剑桥大学（University of Cambridge）、以及极氪汽车研究院（Geely Automobile Research Institute (Ningbo) Company Ltd.）的研究团队联合开发的。具有以下特点:

1. 改进的文本表示：F5-TTS使用ConvNeXt对输入文本进行细化，以改善与语音的对齐，解决了E2-TTS中存在的鲁棒性问题。
2. Sway Sampling策略：F5-TTS提出了一种新的推理时采样策略，称为Sway Sampling，它显著提高了模型的性能和效率。这种采样策略可以轻松地应用于现有的基于流匹配的模型，而无需重新训练。
3. 更快的训练与推理：F5-TTS的设计允许更快的训练，并且在推理时实现了0.15的实时因子（Real-Time Factor, RTF），与现有的基于扩散的TTS模型相比，这是一个显著的改进。
4. 零样本能力：F5-TTS在公共100K小时多语言数据集上训练，展示了高度自然和富有表现力的零样本能力，以及无缝的代码切换能力。
5. 开源：F5-TTS的代码和检查点被开源，以促进社区发展。

FishSpeech1.4模型介绍

fish.audio团队最新开源的FishSpeech1.4;支持中文、英文等8种语音，具有以下特点:

• 零样本和少样本文本转语音（TTS）：输入一个10到30秒的语音样本，即可生成高质量的TTS输出。有关详细指南，请参见语音克隆最佳实践。
• 多语言和跨语言支持：只需将多语言文本复制粘贴到输入框中——无需担心语言问题。目前支持英语、日语、韩语、中文、法语、德语、阿拉伯语和西班牙语。
• 无需音素依赖：该模型具有强大的泛化能力，不依赖于音素进行TTS。它可以处理任何语言脚本的文本。
• 高度准确：对于5分钟的英文文本，实现了约2%的低CER（字符错误率）和WER（词错误率）。
• 快速：借助fish-tech加速技术，在Nvidia RTX 4060笔记本电脑上实时因子约为1:5，在Nvidia RTX 4090上为1:15。
• WebUI推理：功能强大，基于Gradio的Web UI，兼容Chrome、Firefox、Edge等浏览器。
• GUI推理：提供与API服务器无缝协作的PyQt6图形界面。支持Linux、Windows和macOS。见GUI。
• 部署友好：可以轻松设置推理服务器，原生支持Linux、Windows和MacOS，最小化速度损失。

CosyVoice模型介绍

CosyVoice是一个语音生成模型，能够合成自然声音，适用于多种应用。模型支持五种语言：中文、英语、日语、粤语和韩语。CosyVoice 包含三个开源模型：

• CosyVoice-base-300M：擅长准确代表说话者身份，无需微调即可适应不同上下文，能够跨语言克隆声音。
• CosyVoice-300M-25Hz、CosyVoice-300M-SFT：能够生成富有情感表现力的语音，允许通过指令文本进行精细调整。
• CosyVoice-300M-SFT：已针对七位多语言说话者进行了微调，适合立即部署使用。

语音合成模型 CosyVoice 功能特点：

• 多语言支持：CosyVoice 支持包括中文、英文、日语、粤语和韩语在内的五种语言。
• 零样本学习：能够无需训练即可适应新说话者（zero-shot in-context learning），能够在不同语言之间复制声音。
• 情感共鸣：能够创建情感共鸣的声音， CosyVoice-instruct 版本通过情感指令显著提高了情感控制的准确性。
• 高质量语音合成：生成的样本在词错误率（WER）和说话者相似性方面达到人类水平。
• 语音定制化：能够根据特定说话者生成多语言语音，适应新说话者而无需训练。
• 语音克隆与风格迁移：支持在不同语言之间进行语音克隆和情感风格迁移。