Build 2024发布多项Azure AI Speech全新多模态功能

客户们持续使用 Azure OpenAI 和 Azure AI Speech 进行创新，为企业引入新的效率，并构建新的多模态体验。Azure AI，我们持续与客户合作，并将新的创新推向市场——我们看到了各种用例，包括通话分析、医疗转录、字幕、聊天机器人等。

以下是我们在今年 Microsoft Build 大会上宣布的所有多模态创新，特别是包括语音和文本的创新。

语音分析

今天我们宣布预览版的语音分析服务。语音分析是 Azure AI Studio 中的一项新服务，它结合了 Azure AI 服务和 PromptFlow，只需将音频数据上传到云存储，就可以自动处理和分析。

通过语音分析，可以轻松获取呼叫中心对话的见解，或使用 Azure OpenAI 和 Azure AI Language 的 AI 模型从 Azure AI Speech 生成的准确转录中提取对话摘要。从呼叫中心对话中获取见解可以帮助企业更好地理解客户需求、产品反馈和支持趋势，从而改善客户体验。

使用我们的post-call 分析模板，客户可以快速设置提取常见的见解，如呼叫摘要、客户情绪和关键主题。客户还可以轻松修改默认提示，以提取更多见解，甚至修改完整的提示流程，以全面定制分析，提取广泛的信息，如讨论要点，甚至预测可能的对话流程。语音分析还可以轻松支持多种语言、口音、领域和场景，并扩展到大规模生产使用。语音分析帮助我们的客户获取客户对话的见解，改善客户体验、销售和营销策略。这也是多模态数据分析的一个基础，未来将能够从不同类型的数据中获得更丰富和更深入的见解。

以下是Speech Processing Solutions（飞利浦听写）使用 Azure AI 服务（包括语音分析）构建的一套示例技术：

语音分析将于 6 月供开发者试用。想了解更多信息，请在Azure AI Studio中试用。

快速转录

今天我们还宣布预览版的快速转录API。该 API 是 Azure AI Speech 系列的一部分，通过简单的 REST 调用，可以在几秒钟内转录大小达 200MB 的音频文件。

客户希望在获取转录结果的速度至关重要的场景中使用该 API，例如在面试结束或电话结束后立即获得转录结果。该 API 是转录领域的一次变革，可以以高达实时 40 倍的速度转录音频文件，例如在 15 秒内转录 10 分钟的音频文件，而不会牺牲准确性。API 提供了一种简单而强大的转录音频的方式，并打开了一组新的场景，其中之一是呼叫中心内的“代理笔记记录”。

高效笔记记录

一个典型的呼叫中心代理在每次通话后花费 3 到 5 分钟创建笔记。快速转录 API 结合 Azure OpenAI 服务可以自动执行此任务，为呼叫中心节省数千小时的工作时间。医疗从业者记录与患者的对话后，可以在几秒钟内分析这些记录。类似地，媒体和内容创作者可以在播客或采访完成后立即分析并提取见解。

IntelePeer通过高级 AI 驱动的解决方案简化通信自动化，帮助企业和联系中心降低成本并丰富客户体验。

微软的快速 API 在离线转录方面的性能远远超过了竞争对手。在比较相同的样本语料库时，快速 API 在低质量音频转录方面表现最好，结果比其他供应商好70%

Parloa是一家为企业下一代客户服务构建联系中心 AI 平台的软件开发公司，一直在预览版中使用快速转录API。

快读转录 API 提供了市场上最快、最准确和最具成本效益的转录选项。

OPPO是一家全球技术品牌，以其创新的智能手机和智能设备闻名，正在使用 Azure AI 语音转文本快速转录和 Azure AI 文本转语音来试验其新 AI 手机上的新客户体验。

快速转录 API将于 2024 年 6 月供开发者使用，敬请期待更多信息。

视频翻译服务

视频翻译服务已经推出预览版，这是一项开创性的服务，旨在改变企业本地化视频内容的方式。这项新服务为开发人员提供了一种高效而无缝的解决方案，以满足对翻译视频内容和克服语言障碍不断增长的需求，让内容所有者能够触达更广泛的受众。无论是用于教育视频、营销活动还是娱乐内容，视频翻译都能确保您的信息以任何支持的语言被传达出去。

该服务使开发者能够使用预构建的神经语音和内容编辑功能，或通过个人语音功能（一种限制访问功能）将内容翻译成 10 种语言。您可以在Speech Studio中了解更多关于视频翻译服务的信息，并试用您自己的视频。

Vimeo 致力于简化制作、管理和分享视频所需的一切——所有这些都在一个易于使用的平台中。

Vimeo 正在与微软视频翻译服务密切合作，对其为全球客户解锁的用例感到兴奋。

多语言语音翻译

我们宣布对我们的多语言语音翻译能力进行了新的增强。我们引入了多语言检测功能，能够在同一音频流中检测语言切换，并自动语言检测，消除了开发者指定输入语言的需求，以及集成的自定义翻译功能，以适应您的领域特定词汇。

有了这些功能，开发者不再需要指定输入语言，可以在同一会话中处理语言切换，并支持实时流翻译到目标语言。

此功能对于字幕使用场景特别有帮助。字幕是为音频或视频内容添加文本，以便让听力困难或说不同语言的人更容易访问和理解。在许多国家，字幕不仅是法律义务，也是社会责任和包容的良好实践。内容创作者现在可以吸引更广泛和更多样化的受众，并轻松提高用户体验和参与度。

宣布个人语音的全面可用性

我们的语音服务还提供了自然语音的功能。客户可以利用该平台为头像、聊天机器人和 IVR 创建逼真且自然的语音。通过 Azure AI 语音，您可以选择使用现有的语音模型，选择多种不同的语音和风格，也可以使用您自己的数据和录音创建自定义的语音。

我们还宣布 Azure AI 语音推出了新的个人化语音功能。该功能目前以有限的访问权限推出，以确保适当的保障措施并避免滥用。该功能允许用户仅通过提供简短的语音样本作为音频提示，在几秒钟内创建 AI 语音。该功能可用于各种用例，例如为聊天机器人个性化语音体验，或者利用演员的母语声音将视频内容翻译成不同的语言。

总之，我们强大而多功能的平台帮助客户将语音输入和输出与其他 AI 功能结合起来。这使得开发者能够为新场景创建高质量的工作负载。无论您是需要人类对话的见解、实时或录制的字幕，还是为您的虚拟形象、聊天机器人或 IVR 创建逼真和自然的语音，Azure AI 都能帮助客户提供快速、可靠和可定制的解决方案。

审核编辑：刘清