智能家居中视觉成像传感器案例分析

超越单个像素

许多家用电器和设备承诺让我们的家更安全、更舒适，并节省我们的时间或让我们的生活更轻松。它们可以自动完成琐碎的任务，或者通过连接到我们的手机使这些设备的控制触手可及。此功能由大量数字传感器实现，从测量空气温度、湿度和光照条件的设备到运动检测器、气体传感器等。从此类传感器提供的信息来看，它们有一个共同点：它们都是逐点的，缺乏空间分辨率。例如，传统的温度或光传感器将仅在房间的安装点报告温度或光强度。不知道房间里的人，他们的行为，

相比之下，视觉成像传感器具有非常精细的空间分辨率。由集成在传感器中的数百万个检测器提供。通过这种方式，它们生成了丰富的非结构化信息，在这些信息上应用视觉图像分析来获取结构化信息（例如，不仅仅是“门铃前有人”，而是有多少人和谁）。视觉图像传感器在智能机器人和家庭安防系统中的应用已经很广泛。现在，该技术的发展正在将其他多像素传感器带入家庭自动化和智能家居领域。热成像传感器是主要候选者，具有预防火灾危险和指导厨房厨师、在不牺牲隐私的情况下监控人员占用、测量我们的舒适度以及远程确保婴儿和老年人的健康等方面的前景。

下面，我们来看几个具体案例。

您的更安全、更智能的厨房

为什么要在厨房进行热成像？简短的回答是为了安全、健康和方便。事实上，根据美国国家消防协会 （NPFA） 的数据，烹饪是家庭火灾的主要原因，占此类火灾的 49%。并非所有受影响的家庭都有烟雾探测器故障；相反，当检测到烟雾时，已经为时已晚，无法消除导致火灾的条件。热成像可以在危险条件出现之前很久就识别可能导致火灾的高温，从而为最大限度地减少此类代价高昂和毁灭性的事故提供清晰的途径。

在厨房中提供热成像的一种自然方式是将传感器集成到抽油烟机内以实现灶具监控器。Cooksy-Pro，如图1所示，是全球首款智能烹饪助手产品。图中，Cooksy-Pro 是安装在抽油烟机下方的铜色设备。从那里，热像仪可以连续“看到”整个炉灶或炉子的温度分布。

许多烹饪原料对加工温度很敏感。过热它们不仅可能会耗尽它们的营养价值，甚至会使它们变成对我们的身体不太友好的化合物。灶台上方的热像仪可以连续“读取”烹饪餐点的温度并将其显示给我们，从而帮助我们制作更健康的餐点。

Cooksy Corp. 首席财务官 Steven Cartwright 表示：“这让我们想到了烹饪助手的概念，每次都能帮助您制作健康美味的饭菜。“从本质上讲，Cooksy 使您能够分享您的烹饪食谱或跟随他人的食谱。烹饪过程中实时的烹饪时间和温度的详细信息。“

Cartwright 解释说：“Cooksy 将视觉和热像仪传感器与复杂的智能和连接性结合在一个易于安装在炉灶上方的设备中。该设备可以将您的炉灶面实时传输到您的手机，让您“看到”烹饪食材的温度，并建议您如何以及何时根据这些信息采取行动。”

灶具监视器的好处不仅限于烹饪艺术和营养，还涉及厨房安全领域。例如，监控器可以检测到无人看管的燃气灶明火或过热的灶具、过热的锅碗瓢盆（有油或无油）、容器沸腾和溢出以及其他危险情况。图 2显示一壶水的沸腾，带盖，由热成像仪随时间监测。虽然直接可观察到的温度从未接近 100 （212 ），但水的沸点、热图像处理和分析的应用可以检测水何时开始沸腾、何时开始从盖子下方溢出以及何时燃气燃烧器已关闭。在智能家居和联网设备的背景下，识别此类事件不仅可以触发警报，还可以在必要时调节或停止电力或燃气供应，以防止事故或火灾危险。

灶具应用的热成像分析（来源：Meridian Innovation）

灶台监视器并不是厨房中唯一可以找到热成像传感器的地方。图 3显示了支持热成像的微波炉的早期原型——最初由 Meridian Innovation 在 CES 2020 上展示——如图 3所示（可在facebook.com/watch/？v=685705472262649上查看其操作视频）。

该装置能够将食物加热到所需温度，而不是以固定功率加热固定时间。它基于一个现成的微波炉，该微波炉经过修改以集成热成像仪和替代控制。这使我们不必经常在选择重新加热食物的功率和时间时进行猜测。最后，我们可以通过选择所需的食物温度直接传达我们的意图，并将技术细节留给机器。这种意图可以通过无线连接的移动设备或通过集成在改进后的微波炉中的触摸屏来传达。自然地，人们可以设置所需的食物温度，并在食物被加热时对其进行监控。

此外，随着 TinyML 的进步和其他在嵌入式处理器上启用 AI 功能的举措，这种设置可能允许设备在加热时猜测我们在微波炉中放入了什么，从而自动选择最佳温度为我们。

及时交付用于检测高温的热像仪的必要性以及构建良好解决方案的复杂性导致许多合作伙伴努力为 OEM 和 ODM 提供大量参考设计。欧洲商业杂志https://europeanbusinessmagazine.com/media-outreach/arrow-electronics-launches-ai-发表的文章“Arrow Electronics 推出由 STMicroelectronics 的 X-CUBE AI 提供支持的 AI 热传感解决方案”描述了一个很好的例子stmicroelectronics-x-cube-ai/ 供电的热传感解决方案。与我们的合作伙伴 Generalplus Technology 合作实现的另一个新解决方案将在下面标题为“当热成像遇到 AI 芯片组时”的部分中进行描述。

关心您的舒适的空调

HVAC 系统是集成热成像可以产生积极影响的另一个例子。当今常用的大多数空调都在盒子中嵌入了一个简单的温度传感器来控制室温；该传感器提供来自环境的唯一反馈。这样的系统可以被视为第一代。相比之下，集成了热成像仪的第二代系统可以知道房间内是否有居住者，以及这些居住者可能位于房间的什么位置。这能够更有效地利用空调单元。对于小型公寓房间或酒店房间，几百到一千像素的热像仪可能就足够了，而对于更大的居住空间，则需要几千像素的传感器，再加上一个视场为90°以上的视角。

请注意，热图像的内容不仅可以洞察车厢的占用情况，还可以了解整体分布情况整个房间的温度。基于这些更详细的信息，机组可以自动调节气流的温度、方向和速度，以节省能源并提高舒适度。

至于舒适度，有各种数学模型在人的平均皮肤温度和人的感知舒适度之间建立直接关系。我们应该记住，空调和暖通空调系统的目的是确保居住者一定程度的舒适和幸福，而不是仅仅将房间的空气冷却或加热到预设温度。这将我们引向了我们所说的第 3 代 HVAC 系统的概念。在该层，加热或冷却单元使用更高分辨率的热成像 - 大约 5，000 到 20，000 像素 - 并且可以获得更详细的热图像，直接测量居住者的平均皮肤温度，并估计他们的水平舒适。这些信息可以实现以真正的热舒适度而不是温度为目标的环境控制，

第 2 代空调机组已经在市场上销售，这得益于最近批量供应具有成本效益的 1，000 至 5，000 像素的热像仪。我们预计，热成像技术的快速发展将在五年内将第 3 代功能带入高端机型。

婴儿和老人的健康 监测 带视频流的婴儿监视器已经上市有一段时间了，它是与亲友分享孩子快乐时刻以及让看护人照看婴儿的好方法远程。然而，嵌入式视觉相机无法直接洞察婴儿的生理状态。热成像传感器可以。

正在进行大量研究和开发，以创建集成视觉和热像仪并使用丰富的 AI 计算引擎支持相机的婴儿监视器。图 5显示了即将推出的新产品的示例。该领域提供了许多可能性。

例如，由于体温升高是疾病的常见症状，因此每个父母都希望尽早发现这种症状，即使是在半夜。为了解决这一应用，人们可以在婴儿健康和快乐时准确跟踪婴儿的正常温度模式，然后自动检测异常温度模式的发生，并在出现症状的早期提醒孩子的照顾者。应该记住，婴儿核心体温的健康模式表现出显着的昼夜变化，其最低点和最高点之间可能接近 2°。这种模式似乎对每个孩子都是独一无二的，并且随着孩子生理机能的发展而缓慢演变，因此捕捉这种模式需要不断观察。所以，

除了健康状况之外，热和视觉光流模式还可以通过智能婴儿手机在反馈回路中进一步利用，让发育中的大脑参与互动游戏。可以同时分析行为模式和相应的温度标记。这些技术可以帮助护理人员培育出安全、聪明和健康的婴儿。

通过热成像进行的健康监测也可以扩展到老年人。鉴于两个重要的全球趋势，这一点至关重要：预期寿命延长和人口老龄化，以及独居老人的数量增加。热成像可以在许多方面提供帮助，从简单的温度和运动生命体征监测到复杂的行为分析。老年人护理中一个常见且重要的主题是发现甚至预防跌倒。虽然这可以通过在客厅安装视觉摄像头来实现，但不会将摄像头放在浴室里——但浴室的风险最高。

考虑到这一点，LSCM Hong Kong 的一个团队率先推出了热像仪解决方案，该解决方案建立在一个分辨率相对较低的 LWIR 传感器上，像素不到 5，000 像素。该分辨率足够高，可以进行姿态估计，但也足够小，可以以适度的计算能力进行连续、实时的热图像处理——最重要的是，可以保护隐私。该单元在本地运行一种复杂的算法，能够检测事故或跌倒的发生，并向负责的护士或家庭成员发出警报。该产品于2019年在日内瓦第47届国际发明展上获得金奖。

其他公司正在开发相机解决方案，帮助护理机构预防常见事故。当居民起床时，这些单位可以检测到该人是醒着的，并立即提醒看护人参加。

当热成像遇上AI 芯片组

为了将集成参考设计带给 OEM 和 ODM，Meridian Innovation 与总部位于台湾的全球集成电路供应商 Generalplus Technology 合作，该供应商以其消费产品和家用电器解决方案而闻名，该供应商用于数百万行业名牌产品。“我们很高兴与 Meridian Innovation 合作。他们的热成像模块和Generalplus的AI芯片是智能家居的完美解决方案

当 Meridian 的工程师将其热成像模块安装在我们的 AI SoC 平台上 ［图 6］时，它就是制作中的杰作。一种经济高效的独立解决方案应运而生，通过卷积神经网络 （CNN） 功能将温度集成到音频、视频和图形中，用于智能和 AI 应用。在展示这样的解决方案时，我们看到客户对这项尖端技术产生了极大的兴趣，以创造一种创新产品，创造更美好的明天，”Generalplus 销售经理 Jacky Chen 说。

SmartForm 套件（来源：Generalplus 提供）

结论

热成像传感器有望增强我们家中许多产品的功能和价值，使我们能够解决长期存在的挑战，例如健康监测、跌倒和防火，同时提高生活空间的能源效率和舒适度，以及甚至帮助我们做出更好的饭菜。这些进步得益于新一代具有成本效益的热像仪的批量可用性，分辨率高达数千甚至数万像素。

与此同时，我们看到大量可访问的参考硬件设计和软件解决方案极大地促进了该技术的采用，并加快了包含热像仪的创新产品的开发周期。的确，这很关键。一直走在这场革命前沿的公司 Meridian Innovation 的联合创始人是这样表达的：“热成像传感器就像人的眼睛；他们需要［他们］背后的复杂情报，以便理解所有通过的热数据。”

作者 ：联合创始人兼首席运营官 Hasan Gadjali 和 Meridian Innovation LimitedLtd 的科学家 Markov Stanislav Nikolaev 博士。