微软Azure AI更新视频翻译和语音翻译 API 功能！

很高兴与大家分享 Azure AI 语音翻译产品套件的两个重大更新！

分别是视频翻译和增强的实时语音翻译 API。

微软宣布推出视频翻译预览版，这是一项突破性的服务，旨在改变企业本地化视频内容的方式。

随着全球市场对可访问且引人入胜的视频内容的需求不断增长，视频翻译提供了一种无缝解决方案来克服语言障碍。

此次发布包括 Azure Speech，客户可以使用自己的视频资产进行试用，并具有以下交钥匙功能：

• 对话提取和翻译字幕生成

• GPT 重新表述，提高了翻译质量并实现了自动时间对齐

• 预建神经语音，可进行内容编辑，以便手动进行精确对齐和翻译偏好设置

• 使用个人语音功能（有有限的访问限制）

相应的视频翻译API也即将推出。

Azure AI语音转文本使开发人员能够快速准确地将音频转录为100 多种语言和变体的文本。

它还支持自定义模型，以提高特定领域术语的准确性。它使开发人员能够使用 40 倍 RTF 处理能力创建准确的音频转录本。

这意味着，例如，一个 10 分钟的音频文件可以在 15 秒内转录。

使用这个新的简单同步 REST API，需要快速从音频生成转录本的场景变得容易实现。

Azure AI 语音服务还提供语言 ID 功能，可用于根据音频识别口语，这使开发人员能够简化与多种语言音频交互的用户的用户体验。

Azure AI文本转语音使开发人员能够将文本转换为类似人类的合成语音。

神经 TTS 是一种文本转语音系统，它使用深度神经网络使计算机的声音与人的录音几乎没有区别。它提供类似人类的自然韵律和清晰的单词发音，这大大减少了与 AI 系统交互时的听力疲劳。

Azure AI 文本转语音提供 400 多种声音和140 多种语言和区域设置。单一的预构建的逼真神经语音具有多语言支持，可以轻松用同一种声音阅读多种语言的内容。

您可以联系我们免费试用演示并在语音库中收听声音。

企业如何获取Azure AI语音服务？

目前企业需要通过微软官方合作伙伴获取服务，可以合规、稳定地提供企业用户使用Azure AI 语音服务、ChatGPT等的可能，满足国内发票需求，同时也能解决连接不稳定/响应速度慢/并发配额低等问题。

作为微软的合作伙伴，全云在线可为企业开通绿色申请通道！包括AzureAI 语音服务、企业版AZURE OPEN AI 最新版本GPT-4o、Dalle-3，只要企业有需求，全云在线都能协助快速开通！

微软官方认证企业账号

无需梯子、不会遭受封号风险！
享有企业级SLA保障！

无需境外信用卡、合规开具增值税发票！

视频翻译通过授权的视频内容为广泛的商业场景释放商业价值，例如：

• 电视节目、电影和纪录片：

电影制片厂和制作公司可以翻译电影和电视节目以进行国际发行，从而覆盖更广泛的观众并最大限度地提高收入潜力。

• 教育培训材料视频：

教育机构和/或培训项目可以翻译和配音学习视频材料，为全球观众提供准确及时的信息。

• 广告和营销视频：

企业可以本地化他们的广告和营销视频，以引起不同市场目标受众的共鸣，提高品牌知名度和客户参与度。

视频翻译支持下表中的语言对：

微软还计划在未来的版本中迅速扩大语言覆盖范围。

除了视频翻译之外，微软还宣布推出自动多语言语音翻译，这是我们实时语音翻译 API的一项重大增强。

此次发布包含一系列新功能，可实现以前无法实现的更高级别的翻译功能：

• 最大的变化是用户不再需要设置输入语言。API 现在允许用户接收多种语言的音频，而无需事先指定所使用的语言。这将使他们能够在可能不知道接收语言的情况下翻译音频，例如为多样化的全球客户群提供服务的联系中心。我们非常高兴推出此功能，因为它将为多语言用例开辟一个全新的可能性世界。

• 除了接收翻译后的音频外，用户还可以通过语言识别 (LID) 支持了解输入音频中使用的语言。虽然模型仍以端到端方式运行，能够处理多种语言，但用户仍然可以收到会话期间使用的每种语言的列表。这对于文档目的或有多个发言者的场景（如多语言会议）非常有用。

• 语音翻译服务现在还能够在同一会话中处理语言切换。我们允许用户接收多种语言的输入音频，并将它们全部翻译并输出为目标语言。无需设置输入语言，也无需在语言更改时进行新的 API 调用，同一会话可以自动处理语言更改并输出所需语言的翻译。这对于经常在多种母语之间切换的用户，或在商业或教育环境中的多语言会议中，将非常有用，这是一个非常令人兴奋的功能，将创造新的翻译能力水平。

以下是多语言语音翻译实现的一些以前不可能实现的新客户场景：

• 日常生活中的翻译：

想象一下，您正在纽约这样一个多元化的城市中行走，一个外国人向您走来。他们开始用自己的语言向您询问一些事情，但您不仅不知道他们在说什么，甚至不知道他们在说什么语言。通过将我们的 API 集成到翻译移动应用程序等解决方案中，您不仅会知道用户在说什么语言，还会收到完整的文本翻译（如果您选择，还可以收到音频），让您可以自由地与这个人交流，就像完全没有语言障碍一样。

• 视频实时翻译字幕：

假设您正在尝试法国菜，并想跟着厨师制作红酒炖牛肉的视频一起看 — 全部用法语（您不会说法语）。使用由 Azure 语音翻译 API 提供支持的翻译移动应用，您现在可以播放视频并获得流式翻译字幕，就像厨师在实时教您一样！

• 多语言会议：

真正展示新多语言模型强大功能的独特用例是多语言母语人士参加的会议。假设有这样一种情况，例如外交会议，来自许多国家的代表正在相互交谈。如果他们都启用了我们的 API，他们就可以自由地互相交谈，进行自然的对话，而不必担心语言障碍。该 API 可以自动处理语言切换，并仍翻译成目标语言。即使多种语言的使用者都在同一个房间里，也可以实现无缝对话。

从上述场景可以看出，多语言语音翻译开辟了新的可能性，而这些可能性以前是繁琐、低效或完全不可能的。

在公开预览版中，多语言语音翻译将提供输入语言。

这意味着这些是 API 将自动检测并从输入之间切换的语言。

输出（目标）语言仍然可以是Azure 语音翻译服务支持的任何语言。

40 种输入语言如下（以及语言代码）：

阿拉伯语 (ar)、巴斯克语 (eu)、波斯尼亚语 (bs)、保加利亚语 (bg)、简体中文 (zh)、繁体中文 (zhh)、捷克语 (cs)、丹麦语 (da)、荷兰语 (nl)、英语 (en)、爱沙尼亚语 (et)、芬兰语 (fi)、法语 (fr)、加利西亚语 (gl)、德语 (de)、希腊语 (el)、印地语 (hi)、匈牙利语 (hu)、印尼语 (id)、意大利语 (it)、日语 (ja)、韩语 (ko)、拉脱维亚语 (lv)、立陶宛语 (lt)、马其顿语 (mk)、挪威语 (nb)、波兰语 (pl)、葡萄牙语 (pt)、罗马尼亚语 (ro)、俄语 (ru)、塞尔维亚语 (sr)、斯洛伐克语 (sk)、斯洛文尼亚语 (sl)、西班牙语 (es)、瑞典语 (sv)、泰语 (th)、土耳其语 (tr)、乌克兰语 (uk)、越南语 (vi) 和威尔士语 (cy)。

在即将推出的版本中，微软计划支持语音翻译支持的所有输入语言。

语言和区域设置支持将不断更新和扩展，以使模型更易于所有人使用。