0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

鸿蒙语音播报懒人“看”书新法到底如何实现?

电子工程师 来源:HarmonyOS开发者 作者:HarmonyOS开发者 2021-05-20 16:41 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

现代社会节奏较快,人们看书可能不仅仅只用眼睛,有时候也会用耳朵来“听书”,语音播报由此诞生,并通过人工智能语音识别引擎实现。HarmonyOS基于华为智慧引擎(HUAWEI HiAI Engine)中的语音识别引擎,向开发者提供人工智能应用层API,该技术提供将文本转换为语音并进行播报的能力,可应用于以下两种场景:

·实时语音交互

生成音频信息用于语音交互,例如与智能音箱手机智能助手的交互,后台会将回答的信息以音频方式进行语音播报。

·超长文本播报

用于小说、新闻等较长文本的自动朗读。

本期我们就为大家带来超长文本播报场景下的基于AI语音播报能力的Codelab。当用户输入相关文本内容时,点击“语音播放”按钮,程序即对文本进行播报并同步记录语音播报的耗时时长,并呈现在页面上,是不是能满足计时“听书”的需求呢?让我们一起来看看吧。

首先,让我们梳理一遍开发要点:

1)UI页面的构建

2)语音播报接口调用

3)计时器的创建

4)线程间通信处理机制的使用

请注意,由于需要时刻进行观察,在逻辑代码实现中我们会穿插HiLog日志打印,下面我们会逐一指出。

在正式开始敲代码之前,开发者们需要先下载安装Huawei DevEco Studio,如果对这个流程不甚熟悉,可以参照官网的教程来操作。Huawei DevEco Studio安装指南:

https://developer.harmonyos.com/cn/docs/documentation/doc-guides/software_install-0000001053582415

【注意】本次Codelab针对的是步骤拆解和重点讲解,限于篇幅原因不会展示完整代码,开发者们可在文末【阅读原文】中获取完整代码哦~

我们打开Huawei DevEco Studio,选择Phone中的Empty Feature Ability(Java)模板工程,本次Codelab我们将在该模板下完成。有如下操作:

1.我们将在entrysrcmain esourcesaselayoutability_main.xml中构建UI页面;

2.我们在entrysrcmain esourcesasegraphic目录下新建background_button.xml文件用于实现“语音播报”按钮的样式优化;

3.文中的逻辑代码我们将在 entrysrcmainjavacomexampleailistenersliceMainAbilitySlice.java文件中实现;让我们马上开始。

25ba4904-b567-11eb-bf61-12bb97331649.png

1)UI界面构建

纵观这个页面,主要分为以下几个部分:

·标题

即“AI语音播报”这几个字,这里我们使用Text组件。

·文本输入框

可供用户输入想要播报的文本内容,最大不超过100,000个字符。为了便于大家理解,这里我们已经给大家准备了一段文本,我们使用TextField组件来完成。

·播报按钮

此处展示的文本是“语音播报”,使用的是Button组件。值得注意的是,这里需要优化按钮样式,如添加阴影及优化其为胶囊按钮,让按钮更为醒目美观。

如前面提到的,我们将在background_button.xml文件中优化按钮样式,通过color 设置按钮背景颜色,通过radius的半径实现圆角, 代码如下:

《?xml version=“1.0” encoding=“utf-8”?》 《shape xmlns:ohos=“http://schemas.huawei.com/res/ohos” ohos:shape=“rectangle”》 《corners ohos:radius=“40”/》 《solid ohos:color=“#e9e9e9”/》 《/shape》

·计时文本

用于显示“播报耗时:0 s”文本,同样使用Text组件完成。

2)语音播报接口调用

构建完了页面,我们来到今天的重头戏之一,也就是使用AI语音播报能力开发程序。语音播报(Text to Speech,以下简称TTS),提供将文本转换为语音并进行播报的能力。

·语音播报官网资料

https://developer.harmonyos.com/cn/docs/documentation/doc-guides/ai-tts-overview-0000001050724400

这里我们主要分三个部分实现,创建TTS客户端、TTS客户端的初始化和调用相关方法对文本进行播报。下面我们来详细看看各个接口如何调用。

1. TTS客户端创建

调用void create接口创建TTS客户端。

private void initTtsEngine() { TtsClient.getInstance().create(this, ttsListener); }

2.TTS客户端的初始化

当TTS客户端创建成功,即eventType取值

TtsEvent.CREATE_TTS_CLIENT_SUCCESS时,进行TTS客户端的初始化。

public void onEvent(int eventType, PacMap pacMap) { HiLog.info(LABEL_LOG, “onEvent.。。”); // 定义TTS客户端创建成功的回调函数 if (eventType == TtsEvent.CREATE_TTS_CLIENT_SUCCESS) { TtsParams ttsParams = new TtsParams(); ttsParams.setDeviceId(UUID.randomUUID().toString()); initItsResult = TtsClient.getInstance().init(ttsParams); } }

同时我们引入HiLog日志打印,便于观察相关情况。

3.调用相关方法对文本进行播报

这里我们调用TtsClient.getInstance().speakText()方法对文本进行播报,同样也引入HiLog日志打印用于观察初始化是否成功。

private void readText(Component component) { if (initItsResult) { HiLog.info(LABEL_LOG, “initItsResult is true, speakText”); TtsClient.getInstance().speakText(infoText.getText(), null); } else { HiLog.error(LABEL_LOG, “initItsResult is false”); } }

3)计时器的创建

本Codelab将以秒为单位对AI语音播报速度进行计时,故而我们需要一个计时器。在HarmonyOS中,我们通过计时器Timer和计时器任务TimerTask类来实现。这里使用到的是构建和取消两种方法,比较简单。大家可以通过官网资料进一步了解。

·Timerhttps://developer.harmonyos.com/cn/docs/documentation/doc-references/timer-0000001054358579

·TimerTask

https://developer.harmonyos.com/cn/docs/documentation/doc-references/timertask-0000001054558601

同样我们使用HiLog日志打印来观察文本语音播报的开始和结束。

4)线程间通信处理机制的使用

接下来我们将提到本Codelab另外一个重头戏——线程间通信处理机制的使用。在启动应用时,系统会为该应用创建一个称为“主线程”的执行线程。该线程随着应用创建或消失,是应用的核心线程。具体到本Codelab,UI界面的显示和更新等操作,就是更新播报耗时的界面,是在主线程上进行的,因此主线程也称为UI线程。示例中分配的是9015,如图所示:

然而在实际项目中,开发者可能面临许多耗时的操作,比如说下载文件、查询数据库,具体到本Codelab,就是语音播报功能和计时器功能,这些复杂的操作会阻塞 UI线程,导致界面无响应,带来非常不好的用户体验。

因此,我们需要将这些耗时操作放到子线程中,避免阻塞主线程,比如在示例中,我们把AI语音播报放在子线程9275中执行:

但同时,我们又需要把操作的结果数据反馈给UI线程,这个时候就必须引入线程间通信处理机制。因此,HarmonyOS 给Java应用开发提供了EventHandler机制,可以通过EventRunner创建新线程,将耗时的操作放到新线程上执行。这样既不阻塞原来的线程,任务又可以得到合理的处理。

每一个EventHandler和指定的EventRunner所创建的新线程绑定,并且该新线程内部有一个事件队列。EventHandler可以投递指定的InnerEvent事件或Runnable任务到这个事件队列。

EventRunner从事件队列里循环地取出事件:

1)如果取出的事件是InnerEvent事件,将在EventRunner所在线程执行processEvent回调;

2)如果取出的事件是Runnable任务,将在EventRunner所在线程执行Runnable的run回调。

·线程间通信开发概述

https://developer.harmonyos.com/cn/docs/documentation/doc-guides/inter-thread-overview-0000000000038958

在本例中,开始发音的时候发送EVENT_MSG_TIME_COUNT事件,此时程序开始计时并更新UI页面,示例代码如下所示:

@Override public void onSpeechStart(String utteranceId) { // 开始计时 HiLog.info(LABEL_LOG, “onSpeechStart.。。”); if (timer == null && timerTask == null) { timer = new Timer(); timerTask = new TimerTask() { public void run() { handler.sendEvent(EVENT_MSG_TIME_COUNT); } }; timer.schedule(timerTask, 0, 1000); } }

此时取出的事件是Runnable,需要将Runnable任务投递到新的线程,在EventRunner所在线程执行Runnable的run回调,并按照优先级和延时进行处理,。这里是同步更新UI页面,代码如下所示:

private EventHandler handler = new EventHandler(EventRunner.current()) { @Override protected void processEvent(InnerEvent event) { switch (event.eventId) { case EVENT_MSG_TIME_COUNT: getUITaskDispatcher().delayDispatch(new Runnable() { @Override public void run() { time = time + 1; HiLog.info(LABEL_LOG, “播报耗时:” + Integer.toString(time) + “ s”); timeText.setText(“播报耗时:” + Integer.toString(time) + “ s”); } }, 0); break; default: break; } } };

至此,我们已经完成本次Codelab的所有关键步骤。

通过这个Codelab,大家可以学习到AI语音播报、线程间通信和计时器的使用方法。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • JAVA
    +关注

    关注

    20

    文章

    2997

    浏览量

    115693
  • AI
    AI
    +关注

    关注

    89

    文章

    38153

    浏览量

    296811
  • 语音播报
    +关注

    关注

    1

    文章

    39

    浏览量

    15045
  • 鸿蒙
    +关注

    关注

    60

    文章

    2859

    浏览量

    45363
  • HarmonyOS
    +关注

    关注

    80

    文章

    2146

    浏览量

    35588
  • OpenHarmony
    +关注

    关注

    31

    文章

    3926

    浏览量

    20725

原文标题:【Codelab】懒人“看”书新法—鸿蒙语音播报,到底如何实现?

文章出处:【微信号:HarmonyOS_Dev,微信公众号:HarmonyOS开发者】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    语音报警器:TTS语音播报,云平台逻辑自控

    TTS语音播报报警器是一种集成了传统报警器和TTS(文本转语音)技术的智能设备。清晰、准确地用人类语言播报报警原因、位置、状态等具体信息。 工作原理 文本
    的头像 发表于 10-29 16:31 459次阅读

    语音播报芯片:让产品“开口说话”的秘密

    不知道大家发现没有,在我们的日常生活当中,其实有很多会“说话”的产品,比如我们日常骑行电动自行车,在没电的时候它会通过语音播报提醒你“电量低请及时充电”。在便利店或者很多餐饮商家付款的时候,都会有一
    的头像 发表于 09-28 09:28 382次阅读
    <b class='flag-5'>语音</b><b class='flag-5'>播报</b>芯片:让产品“开口说话”的秘密

    革新电梯语音播报体验:广州唯创WTN6170-8S语音芯片应用解析

    在现代都市生活中,电梯是连接人们与各个楼层的重要工具。其运行的安全性、舒适性与便捷性直接关系到用户的体验。作为电梯系统中的“声音向导”,语音播报器承担着传递运行状态、抵达楼层等关键信息的职责。然而
    的头像 发表于 09-05 09:06 455次阅读
    革新电梯<b class='flag-5'>语音</b><b class='flag-5'>播报</b>体验:广州唯创WTN6170-8S<b class='flag-5'>语音</b>芯片应用解析

    一颗TTS语音芯给产品增加智能语音播报能力

    一颗TTS语音芯片给产品增加智能语音播报能力 传统语音播报芯片可以设置一些固定的语音片段或者内容
    的头像 发表于 08-14 16:33 469次阅读

    网络语音控制器 智能自控语音播报

    网络语音控制器(NetworkVoiceController)是一种通过有线/无线网络接收指令,实现远程语音播报、对讲或声光告警的智能设备。其应用场景极为广泛,几乎覆盖所有需要“远程声
    的头像 发表于 08-13 15:21 628次阅读

    从开发工程师视角TTS语音合成芯片

    从开发工程师视角TTS语音合成芯片 在语音交互领域,TTS 语音合成芯片作为关键角色,正不断革新着人机对话的体验。从开发工程师角度深入剖析,TTS
    的头像 发表于 08-13 14:52 648次阅读

    芯知识|语音芯片IC技术解析:优化数字组合播报间隔的解决方案

    一、语音芯片的核心作用与应用场景语音芯片作为智能设备交互的重要载体,广泛渗透于工业控制、智能家居、公共服务等领域。广州唯创电子推出的语音芯片系列产品,凭借其高集成度和灵活的可编程特性,在数字
    的头像 发表于 05-12 09:04 545次阅读
    芯知识|<b class='flag-5'>语音</b>芯片IC技术解析:优化数字组合<b class='flag-5'>播报</b>间隔的解决方案

    语音播报模块:打造智能化工厂的安全防线

    在科技日新月异的时代,智能化工厂已成为制造业转型升级的重要方向。作为智能化工厂的关键组成部分,语音播报模块不仅提升了生产线的自动化水平,更在安全生产方面发挥了不可替代的作用,为工厂构筑起一道坚实
    的头像 发表于 03-07 16:11 642次阅读

    TTS语音播报控制器能做什么?

    TTS(Text-to-Speech)语音播报控制器,作为一种能够将文本信息转换为语音输出的技术设备,在现代社会的各个领域中展现出了广泛的应用前景。TTS技术的出现,丰富人机交互的方式,提高信息传播
    的头像 发表于 02-20 18:18 1110次阅读

    TTS语音播报模块简介

    在现代科技日新月异的时代,语音技术作为人工智能领域的重要分支,正以前所未有的速度改变着我们的生活方式。其中,TTS(Text To Speech,文本转语音)语音播报模块作为连接数字世
    的头像 发表于 02-18 16:16 1893次阅读

    TTS语音播报控制器应用场景

    TTS(Text-to-Speech)语音播报控制器,作为一种能够将文本信息转换为语音输出的技术设备,在现代社会的各个领域中都展现出了广泛的应用前景。 应用场景 教育领域:对于视力障碍的学生而言
    的头像 发表于 02-18 16:15 1287次阅读

    HarmonyOS NEXT 应用开发练习:AI智能语音播报

    一、DEMO思路 在这个HarmonyOS NEXT原生应用DEMO中,我们将使用ArkTS开发语言创建一个简单的AI智能语音播报应用。 该应用能够接收用户输入的文本,并使用TTS
    发表于 01-06 15:33

    云打印机基于唯创知音语音播报+TTS(语音合成)+离在线识别技术的五大语音方案

    AUTUMN前言当下打印机使用越来越广泛,品种也日益增多,从企业到商家到用户,不同的客户群体都有不同的需求。就拿语音播报来说,早先的打印机只做简单的文本打印功能,不带语音播报提示,后来
    的头像 发表于 12-31 17:34 1391次阅读
    云打印机基于唯创知音<b class='flag-5'>语音</b><b class='flag-5'>播报</b>+TTS(<b class='flag-5'>语音</b>合成)+离在线识别技术的五大<b class='flag-5'>语音</b>方案

    Flash语音芯片豆浆机语音播报方案——NV128H平台更换语音内容

    智能豆浆机迎合健康便捷需求,NV128H芯片提供语音播报,支持自主更新语音、大存储流畅播报、高音质低功耗,具有宽广供电、简洁电路、多种音频输出及稳定数据保留等特性。
    的头像 发表于 12-20 13:47 955次阅读

    高性能语音播报芯片九芯NV256H优势

    随着科技的飞速发展,语音播报技术在各行各业中的应用越来越广泛,从智能家居,家用家电,再到医疗器械、安防报警等,语音播报无处不在,也越来越受大众的追捧;广州九芯电子新推出了一款高性能芯片
    的头像 发表于 12-12 11:45 869次阅读
    高性能<b class='flag-5'>语音</b><b class='flag-5'>播报</b>芯片九芯NV256H优势