手把手教你用聆思CSK6大模型开发板接入Dify智能体进行语音交互

手把手教你用聆思 CSK6 大模型开发板接入Dify智能体进行语音交互

前言

Dify 是一个开源的LLM（大语言模型）应用开发平台，其定位是打造以可视化和低代码/零代码为核心的一站式AI应用开发解决方案。它融合了后端即服务与LLMOps的理念，支持快速构建、部署和管理基于大语言模型的应用程序。Dify 企业级能力涵盖了强大的RAG（检索增强生成）引擎、AI工作流编排以及多模型集成与管理等核心组件。相信许多开发者也希望了解如何将具体的模型或服务与该平台进行集成。这里就以接入DeepSeek大模型并在Dify上创建一个简单的AI应用为例，演示一下基础接入步骤，大家可以参考以下流程进行操作即可

由上图可见，当前 SDK 方案是把开发套件当做输入端，文字或图片内容先上传到聆思的大模型平台（LSPlatform），然后平台再根据匹配的应用策略转给后端的大模型处理。基于聆思大模型平台提供的应用编排功能，我们如果要使用其他大模型，只需要从云端更改大模型接入节点，而无需去修改硬件端。以下为CSK6大模型开发板接入Dify后的交互演示：

https://docs2.listenai.com/zz/10164.mp4?shortId=_KxmRfm2W

实现步骤

一、申请 Dify API

1. 登录注册 Dify 官网

2. 创建应用

3. 安装【OpenAI】插件

4. 创建【聊天助手】应用

5. 获取 API 密钥

6. 填写API密钥（在哪里填写，将在下文详细描述）

链路说明

示例中包含 3 条链路，分别为

●链路 1: 可通过注入节点调用 Dify 节点，并将结果输出到 output1。

●链路 2: 可通过 web 对话页调用 Dify 节点，最终将大模型结果输出到对话页面上。

●链路 3: 可通过开发板调用 Dify 节点，最终将大模型输出的结果进行语音合成实现端侧播报。

二、云端服务接入 Dify

1. 创建应用

登录 LSplatform，创建新应用

2.创建成功后在弹出的界面进入应用编排服务。

3.导入工程下载工程示例：Dify 示例.json

a. 导入工程示例：选择 Dify 示例.json文件导入

若提示“您要导入的某些节点已经存在于工作空间中。”，则选择“导入副本”即可。

4.配置参数

参数说明：

●API-KEY：Dify 的 API-KEY 获取链接：Dify 开放平台

●Host:api.dify.ai (根据Dify官网的接口文档填写)

●Path:/v1/chat-messages (根据Dify官网的接口文档填写)

●Timeout: 超时时间，单位ms

●Stream：是否流式返回

5.部署验证

●在完成参数配置，进入完整体验之前，我们可以简单测试验证，验证是否成功调用 Dify。

●部署成功后关闭当前编排服务

重启应用

测试接口

重启应用后，再次点开【编排应用】，点击注入，会触发一次 Dify 子流程调用，标记 2 的红框中输出类似日志即代表成功建立链接。

打开 web 验证页面

回到【我的应用】，双击聆思 CSK6-Dify 应用，在弹出的应用详情页面点击右上角分享按钮打开 web 验证配置，该配置页包含测试地址和访问密码。

访问 web 验证页面链接，在打开的 web 页即可与 Dify 对话

三、大模型开发板接入 Dify

云端接入 Dify 成功后，要想在聆思 CSK6 大模型开发板上进行语音交互，需要把对接了 Dify 的云端服务跟指定开发板绑定。

1. 云端应用设备列表加入硬件设备 ID

读取设备 id

设备 ID 是一个产品下的唯一设备标识，我们需要获取当前设备 ID 方便后续在云端配置，才能让设备鉴权通过实现端云交互。

读取方式：

cskburn desktop 是一款聆思推出的桌面烧录工具，下载地址（cskburn桌面烧录工具 | 聆思文档中心）打开软件后

1. 点击串口下拉框，选择连接开发套件后识别到的串口编号；

2. 点击获取信息；

3. 得到设备 ID。

加入设备列表

聆思平台只会对列表中的设备鉴权提供交互服务，因此需要将前面读取到的设备 ID 在设备管理页面进行导入才能实现设备正常交互。

2. CSK6 开发板设备端写入云端产品服务配置

云端配置设备 id 后，还需将产品 ID 写入开发板固件中，才能让设备在运行时找到正确的云端产品服务完进行鉴权，鉴权完成就可以进行大模型语音交互了。

写入方式：

使用数据线连接开发板 DAP_USB 接口后，打开聆思在线串口终端，选择对应的串口设备进行连接，波特率默认 115200，完成配置后点击连接按钮。

通过 set product_id 和 set secret_id 指令可以分别配置开发板接入的大模型应用 product ID 及其密钥，示例如下：

set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f

set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218

其中，product_id 和 product_secret 可在对应产品的产品信息中获取，请将指令中的参数替换为产品信息中的 id 与 secret 信息。

四、语音交互验证接入成功

用小聆小聆唤醒，并提问你是谁，语音回复它是Dify即可验证成功。至此，可以确认ChatGLM接入成功。本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。套件简介 | 聆思文档中心

更多资料

本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。https://docs2.listenai.com/x/nTn9kMMCU

小聆AI详细配置参考：https://docs2.listenai.com/x/S_TEd8h7C

上手大模型硬件开发可以参考：https://docs2.listenai.com/x/Bt46JnBA0