美的集团将上线国内首个智能家居大模型，已开源边端AI算法部署工具链

数字化时代，人工智能（AI）已经成为各行各业的关键技术。从智能家居到制造流程的优化，美的集团一直在探索将 AI 融入其业务中。并且，针对时兴的大模型技术，美的集团也已经雄心勃勃地投入其中。

最近，InfoQ 与美的集团的多位专家进行了交流，以了解美的在 C 端和 B 端领域的最新 AI 应用进展。他们还分享了通过开源开放的方式、与开发者一同推动 AI 生态系统共创的愿景。

“美言大模型”2024 年上线

在美的集团本月举办的年度科技月活动上，美的 AI 创新中心发布了“美的家居大脑”（Midea’s Home Brain）智能主动服务引擎。

据美的集团首席 AI 官兼 AI 创新中心总经理唐剑介绍，“美的家居大脑”搭载国内首个家居领域 AI 大模型“美言”，具备智能感知、自然交互、自主决策等能力，支持全屋空气、智慧烹饪、智慧洗护、智慧能源等 8 大业务系统，几乎覆盖生活的方方面面，最关键的是，它能够通过家电以及机器人把最重要的两个空间——数字空间和物理空间深度融合在一起。

唐剑在接受 InfoQ 采访时表示，美的一直聚焦自然语言交互系统的探索，去年年底随着 ChatGPT 大模型的爆发，内部就立即将其纳入了紧密追踪的范围。

谈及美言大模型的研发过程中面临的挑战，唐剑表示主要面临着两大行业难题，一是幻觉问题（AI Hallucinations）。幻觉问题在大语言模型和深度学习模型中是一个公认的挑战，大模型在生成文本、图像或其他内容时给出的信息虽然看起来合理，但实际上是错误的或无关的。

与通用大模型不同，在用于闲聊或文本、图像生成的情况下，它们给出来的内容通常需要给人工进一步修改。但美的的应用需要直接与用户互动，因此必须确保大模型的回答和执行操作都非常精准和可控。

另一大挑战则是灾难式遗忘（catastrophic forgetting）问题，AI 模型在学习新知识时，会丧失或混淆先前学到的知识，尤其是在应对大规模数据和复杂任务时。唐剑强调，特别是在开发垂直领域的大模型时，尤其需要解决这个挑战。

据悉，美言大模型已在上个月发布，但距离正式上线还需要经过网信办的报备过程，目前正在走申报流程，计划在明年上半年正式上线，并且会持续对模型进行升级和迭代。

AI 深入制造生产

在 ToC 层面，美的通过家居大脑全屋智能以及美言大模型提升交互和产品的感知能力。ToB 层面，AI 在美的智能制造板块也大有所为。

“除了语言大模型，还有视觉大模型等等。”唐剑介绍道，美的在工厂环境中积极推广视觉大模型应用，这包括工厂内的一系列 AI 自动质检。他举例道，“360 度动态全检”质检方法利用摄像头在转盘上对产品进行全方位扫描，检查外观是否存在缺陷、裂纹，以及是否正确贴有 logo 等。再比如“连续动作的识别”，这一应用能准确识别那些微小、肉眼难以判断的动作，通过视觉大模型的技术，可以提高识别检测的精准度，以确保工人遵循标准操作程序（SOP）。

美的集团 EDP（企业数字平台）产品经理陈婷在受访时也表示，引入 AI 技术后，缺漏检、质量检、瑕疵检等以前由人工进行的检测如今都可以通过摄像头拍摄图像，上传到云端进行识别和判断。

在人员管理方面，美的主要应用了 AI 人脸识别技术，陈婷表示体现在产线生产现场主要关键应用是技能匹配，在生产产线的关键岗位上安装了设备，定期捕获工作岗位上工作人员的面部信息，将其上传到系统进行匹配。系统的任务是判断员工的技能是否与岗位需求相匹配。如果系统检测到技能不匹配，会立即触发产线的停工，引起品质管理人员的警觉，以便进行巡检和检查。这一举措旨在降低技能不匹配可能引发的产品质量风险。

美的中央研究院感知技术研究所所长奚伟在接受 InfoQ 采访时进一步提到，在自动化生产方面，美的通过利用机器视觉技术，可以实现机器人在搬运、焊接和装配等任务中的自动化，从而提高制造效率。美的已经在过去两年多的时间内部署了 100 多套智能设备，预计在未来几年将进一步扩展至 1000 套。

此外，除了智能制造领域，在智能医疗领域，美的也在运用深度学习技术来提升磁共振成像设备的成像技术。

据了解，美的集团在过去 5 年的投入研发资金超 500 亿元，其中 2022 年研发投入超 120 亿元，2023 年预计超 130 亿元，截至目前在全球 10 余个国家拥有 31 个研发中心和 40 个主要生产基地。正如美的集团董事长兼总裁方洪波在本届科技月上所强调，“科技领先战略一定要放在核心地位，美的要继续加大研发投入。”

与开发者推进 AI 生态共创

各个 AI+ 制造实践的背后，离不开 AI 算法的作用。不过，由于 AI 的计算成本和存储成本相比于传统任务要高很多，以至于很多 AI 在低资源设备上落地部署非常困难。面对这一挑战，美的集团 AI 创新中心自主研发了边端 AI 算法部署工具链 Aidget（AI edge toolbox）。

这是美的在 2021 年启动的项目，Aidget 工具链主要包括深度学习边端推理引擎和模型自动化压缩工具。它适用于 Linux、DSP、RTOS、Android 和 iOS 等，支持多种边端平台。

美的 AI 创新中心算法工程师赵东宇向 InfoQ 进一步介绍道，Aidget 工具链的核心工作是将模型通过压缩工具进行模型压缩，支持前沿的主流算法技术修枝、蒸馏及量化。通过多种压缩方式结合运用，实现高压缩比并保持良好的精度性能。

经过压缩后的模型通过推理引擎侧转换工具进行解析，进行进一步优化，包括算子清除、算子替换、布局调整等图优化操作。推理时加载模型，然后经过预处理把模型从抽象的图转换为具体的算子和张量连接的描述形式，并进行内存复用和执行调度等运行优化。

值得一提的是，Aidget 已经在 Github 和 OpenI 两大社区同步上线开放。“推进开源开放是美的集团承担建设的智能服务机器人国家新一代人工智能开放创新平台的重要内容，Aidget 将有助于美的集团与开发者推进 AI 生态共创。”赵东宇说道。

现阶段，Aidget 已正式应用于美的集团各业务部门的不同项目的 AI 部署业务中，支持冰箱、家庭服务机器人等智能家居产品的产业化批量生产。同时，Aidget 参与研发的 FL119 项目，正在联合空调、扫地机、洗衣机产品开发中，大幅降低了芯片平台成本，使有限的计算资源能够支持更多 AI 任务的实现。在大模型端侧的部署方面，Aidget 也有取得进展，减少部署成本并大幅提高效率。

在赵东宇看来， AI 不能只出现在论文和 PPT 上，而应该让人们在生活中切实感受到 AI 带来的便利，将 AI 落地应用于千家万户。

除了 Aidget，未来美的集团将深入推进语音识别技术、机器视觉和智能机器人方面的优化算法 / 模型，并将这些技术对外开放。