FishSpeech

由 FishAudio 团队开发的开源、先进的多语言文本到语音（TTS）合成项目。它旨在通过结合大语言模型（LLM）技术，提供高质量、多语言的语音合成解决方案。

网站截图

FishSpeech简介

Fish-Speech 是一个由 FishAudio 团队开发的开源、先进的多语言文本到语音（TTS）合成项目。它旨在通过结合大语言模型（LLM）技术，提供高质量、多语言的语音合成解决方案。Fish-Speech 支持零样本文本到语音（TTS）、多语言和跨语言支持，并且具备强大的音色控制和情感表达能力。该项目适用于多种应用场景，包括但不限于语音助手、语言学习工具和内容创作等领域。

FishSpeech主要功能

1. 零样本与少样本 TTS
   用户可以通过输入 10 到 30 秒的语音样本，生成高质量的 TTS 输出。
2. 多语言与跨语言支持
   支持英语、日语、韩语、中文、法语、德语、阿拉伯语和西班牙语等多种语言，用户无需担心语言切换问题。
3. 无需音素依赖
   模型不依赖音素进行 TTS，能够处理任何语言脚本的文本。
4. 高精度与快速合成
   在 5 分钟的英文文本中，字符错误率（CER）和词错误率（WER）约为 2%，并且在 Nvidia RTX 4060 和 RTX 4090 上分别实现了 1:5 和 1:15 的实时率。
5. WebUI 和 GUI 推理
   提供基于 Gradio 的 WebUI 推理界面，兼容 Chrome、Firefox、Edge 等主流浏览器；同时支持 PyQt6 图形界面，适用于 Linux、Windows 和 macOS 系统。
6. 易于部署
   支持在 Linux、Windows 和 macOS 上快速搭建推理服务器，减少速度损失。
7. 端到端集成
   自动集成自动语音识别（ASR）和 TTS 部分，无需额外插件，实现真正的端到端语音合成。
8. 音色与情感控制
   支持通过参考音频控制语音音色，并能够生成带有强烈情感的语音输出。

FishSpeech主要特点

1. 高精度与低延迟
   在多语言文本合成中表现出极高的精度和快速的推理速度，适合实时应用场景。
2. 强大的语言通用性
   不依赖音素，能够处理多种语言脚本，无需额外的语言模型支持。
3. 灵活的音色与情感控制
   用户可以通过参考音频调整语音的音色和情感表达，提升语音合成的自然度和表现力。
4. 多平台支持
   提供 WebUI 和 GUI 推理界面，支持主流操作系统，方便用户根据需求选择使用方式。
5. 开源与开放性
   项目开源，支持社区贡献和二次开发，适合开发者进行定制化扩展。
6. 端到端集成
   真正的端到端语音合成，无需额外插件，简化了使用流程。