我要投稿

微软AI语音技术：因功能太强，不敢公开！

发布日期：2024-08-08 21:17:16 浏览次数： 2284

作者：SDI数字创新

微信搜一搜，关注“SDI数字创新”

微软的一个研究团队推出了 VALL-E 2，这是一款显著改进的语音合成人工智能系统。然而，他们认为世界尚未准备好迎接它的发布。

研究团队表示，这是首个能够达到人类水平的语音生成系统，即使是对只有一小段语音样本的陌生人，该系统也能生成语音。该系统能够可靠地生成复杂的句子或重复次数较多的句子。

市面上有售的软件，比如ElevenLabs，可以克隆声音，但需要更冗长的参考资料。VALL-E 2 只需几秒钟就能完成。

VALL-E 2以 2023 年初推出的前身 VALL-E 为基础，使用神经编解码器语言模型来生成语音。这些模型学习将语音表示为一系列代码，类似于数字音频压缩。两项关键改进使这一突破成为可能。

VALL-E 2 提供两项核心创新

首先，VALL-E 2 在解码过程中采用了一种新颖的“重复感知采样”方法，将学习到的代码转换为可听见的语音。代码的选择会动态地适应它们在先前输出序列中的重复性。

第一代 VALL-E 的处理管道就是这样的......| 图片：微软

第二代 VALL-E 的处理管道 | 图片：微软

VALL-E 2 不会像 VALL-E 那样从可能的代码中随机选择，而是智能地在两种采样方法之间切换：“核采样”仅考虑最可能的代码，而随机采样则平等对待所有可能性。这种自适应切换大大提高了解码过程的稳定性，并避免了无限循环等问题。

第二个核心创新是按组而不是单独对编解码器代码进行建模。VALL-E 2 将多个连续代码组合在一起，并将它们作为一种“框架”一起处理。这种代码分组缩短了语言模型的输入序列，从而加快了处理速度。同时，这种方法还通过简化非常长的上下文的处理来提高生成语音的质量。

在 LibriSpeech 和 VCTK 数据集上的实验中，VALL-E 2 在生成语音的稳健性、自然性和相似性方面明显优于人类。只需 3 秒的目标说话者录音就足够了。使用更长的 10 秒语音样本，系统获得了更好的听觉效果。微软已在官网上发布了所有示例。

研究人员强调，训练VALL-E 2只需要成对的语音记录及其转录本，而不需要时间码。

由于滥用风险高，不予发布

据研究人员称，VALL-E 2 可用于教育、娱乐、无障碍或翻译等许多领域。然而，他们也指出了明显的滥用风险，例如在未经说话者同意的情况下模仿声音。因此，它目前仍是一个纯粹的研究项目，微软没有计划将 VALL-E 2 集成到产品中或扩大对公众的访问。

他们认为，首先应该制定一个协议，以确保被听取的人同意合成，以及一种对此类内容进行数字标记的方法。这项提议大概是受到人工智能图像模型行业发展的启发，该行业正在引入C2PA 等水印。然而，它们并没有解决可靠地识别人工智能生成内容的现有问题。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-09-09

实测|Perplexity最新AI浏览器产品Comet，真正的agent全家桶！

2025-09-09

让大模型更懂用户，算法工程师的成长升级之旅

2025-09-09

多智能体自主规划模式性能提升：五大精准策略详解

2025-09-09

nano banana 文生图模型有哪些具体的应用场景？

2025-09-09

Claude Code：极简架构 + 万字提示词 = 最强开发者智能体？

2025-09-09

测试用例还能自动跑？揭秘 AI 测试平台的新功能

2025-09-09

20个进入实用阶段的AI应用场景（设备工程业篇）

2025-09-09

听得清，识得准，语音识别模型Qwen3-ASR-Flash来了！

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek-V3.1 发布，迈向 Agent 时代的第一步

2025-08-21

精|知识探索新范式：深度研究Deep Research智能体全面综述，系统、方法与应用

2025-06-21

DeepSeekV3.1 提到的 UE8M0 FP8 Scale 是什么？下一代国产芯片设计？

2025-08-21

DeepSeek V3.1 测评

2025-08-19

别再被MCP协议绕晕！一文搞懂连接流程与核心架构

2025-06-12

能办成事的 Agent：实时与环境交互，从经验中学习

2025-06-19

聊聊AI应用架构演进

2025-06-13

科普｜一文看懂AI发展史：主要发展阶段与改变世界的突破性事件

2025-06-15

WAIC 2025 观察：大模型进入“效率与场景”决胜期

2025-07-29

DeepSeek突然更新V3.1：实测后才发现的亮点与槽点

2025-08-19

大家都在问

nano banana 文生图模型有哪些具体的应用场景？

2025-09-09

Claude Code：极简架构 + 万字提示词 = 最强开发者智能体？

2025-09-09

观察 | 面临经济下行和AI的双重冲击，企业顾问如何突破困局？

2025-09-08

AI大家说 | 下一代AI创业的机会在哪里？定价趋势是什么？

2025-09-08

砸数万元将产品植入Deepseek，AI还能被骗多久？

2025-09-07

当我们谈论“AI原生”时我们在谈论什么？

2025-09-06

智能体上下文工程是什么？

2025-09-03

Midoo.AI 发布：AI Agent 能否破解教育行业千亿美金的「无解方程」？

2025-09-03

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB