免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

开源 ElevenLabs 平替来了!OmniVoice Studio 本地免费实现电影级配音

发布日期:2026-05-14 12:59:24 浏览次数: 3193
作者:GitHubStore

微信搜一搜,关注“GitHubStore”

推荐语

OmniVoice Studio让你免费在本地实现电影级配音,支持3秒声音克隆和646种语言,无需联网,保护隐私。

核心内容:
1. 项目核心功能:3秒零样本语音克隆与电影级视频自动配音
2. 高级特性:全局实时听写、人声分离、批量处理与AI水印
3. 安装与技术支持:跨平台部署方案与多种TTS/ASR引擎介绍

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家


项目简介

实时听写 + 3秒零样本语音克隆 + 646种语言视频配音,全程本地运行,无需账号、无需API密钥!

它能让你在自己的电脑上完成:

  • 3秒音频实现任意声音克隆
  • 电影级视频自动配音(支持 YouTube 链接直接转配音)
  • 全局快捷键实时听写(任意软件都能用)
  • 人声分离、说话人区分、AI水印等专业功能

全部本地运行,完全免费开源!

特点

  • 🎙️ 零样本语音克隆:只需3秒音频,就能完美复刻声音,支持 646种语言
  • 🎨 精细语音设计:可调节性别、年龄、口音、情感、语速、音高、方言等
  • 🎬 智能视频配音:输入视频或YouTube链接 → 自动转录 → 翻译 → 重新配音 → 输出新MP4
  • ⌨️ 全局听写小部件:按 ⌘ + ⇧ + Space 即可在任意应用中实时转录并自动粘贴
  • 🔊 人声分离:基于 Demucs,可从音乐中干净分离人声并保留背景
  • 👥 说话人区分:自动判断视频里谁在说话
  • 📦 批量处理:一次拖入50个视频,挂机自动完成
  • 🛡️ AI水印:内置 Meta AudioSeal,生成的内容可追溯
  • 🔐 100% 本地隐私:无需联网、无需上传数据

支持的平台与安装方式

OmniVoice Studio 支持 Windows、macOS、Linux 三大平台,提供以下三种使用方式:

1. 最推荐 - 桌面应用(最简单)
直接下载安装包(macOS DMG / Windows MSI / Linux AppImage),安装后启动即可。首次会自动下载所需模型,之后使用非常方便。

2. Docker 一键部署
适合有服务器或喜欢容器化的用户,一条命令即可启动,支持 CPU 和 NVIDIA GPU。

3. 从源码运行(开发者推荐)

git clone https://github.com/debpalash/OmniVoice-Studio.git
cd OmniVoice-Studio
bun install && bun run dev

支持热重载,方便二次开发和修改。

关键技术

  • 主要 TTS 引擎(多引擎可切换):

    • OmniVoice(默认,自研/集成):600+ 语言零样本语音克隆。基于 Diffusion Language Model(扩散语言模型)架构,离散非自回归(NAR),支持指令跟随(Instruct)、语音设计(性别、年龄、口音、情感等)。
    • 支持其他引擎:CosyVoice 3、MLX-Audio(Apple Silicon 专属:Kokoro、Qwen3-TTS 等)、VoxCPM2、MOSS-TTS-Nano、KittenTTS(轻量英文)。
  • 语音识别(ASR)

    • WhisperX(主要):带时间戳和说话人区分。
    • Faster-Whisper(fallback)。
    • MLX-Whisper(Apple Silicon 加速)。
  • 说话人区分(Diarization)Pyannote-audio + WhisperX。

  • 人声分离Demucs(保留背景音乐)。

  • 其他音频处理

    • AudioSeal(Meta):AI 生成音频隐形水印(抗压缩)。
    • Pedalboard:音频效果处理。
    • pydub + soundfile:音频格式转换。
    • yt-dlp:YouTube 视频下载与处理。
  • GPU/硬件加速

    • 自动检测:CUDA(NVIDIA)、MPS(Apple Silicon)、ROCm(AMD)、CPU。
    • VRAM 感知自动卸载(≤8GB 时 TTS 卸载到 CPU)。
    • Torch + Torchaudio(PyTorch 2.8+)。

项目对显存要求友好,8GB显存也能通过自动卸载机制正常运行。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅