小米铁蛋都有哪些秘密功能

“铁蛋铁蛋，握个手”

“铁蛋铁蛋，作个揖”

“铁蛋铁蛋，跳支舞”

作为小米科技园里的新晋团宠，铁蛋都有哪些秘密功能？如果拥有一只铁蛋，你将会获得怎么样的新奇体验？

这次，我们邀请了几位初入职场的小米同学，一起来体验拥有铁蛋的一天。每个同学都可以认领一只属于自己的铁蛋，他们将携铁蛋一起，通过闯关的方式，去解锁铁蛋的技术盲盒。当智能的铁蛋和热爱技术的同学强强联手，他们会带来哪些精彩的技术故事呢？

小米铁蛋这些神秘超能力的背后都有哪些秘密？来看看工程师们的介绍！

Q：铁蛋的相机技术应用在哪些方面？能实现哪些功能？

A：基于小米自研的人体检测、人体重识别、人脸检测识别、室内建图导航等算法的应用，铁蛋可以实现人脸识别、智能跟随、自主避障，以及拍照、录像等功能。

在跟随时，结合人体ReID算法，可以对主人进行实时跟随；当目标人体脱离铁蛋可视范围（如拐角），再次出现时，铁蛋依旧能够准确的识别和跟随；当有其他人出现在主人和铁蛋中间时，也不会误跟踪到路人身上。

此外，铁蛋可实现自动规划到下一目标点的前进路线，并在导航运动过程中自主规避遇到的障碍物。

Q：为什么铁蛋能够做到快速、准确的识别主人？

A：铁蛋头部配备了一颗1300万像素的广角相机，根据铁蛋和人体的相对高度，我们设计了一个合适的仰角，使机器狗可以最大化的捕捉到前方的人脸和人体信息。用户在拿到铁蛋的第一时间，可以通过APP录入主人的人脸特征信息，因此铁蛋就可以通过视觉算法对画面中出现的每一个人进行比对识别，这样铁蛋就可以通过人脸来识别主人了。

小米自研的人脸识别算法是基于最新的深度学习算法，可实现实时对输入画面进行人脸检测，当检测到人脸后对人脸上关键点，进行识别和分析最终对每一个人进行ID识别。目前人脸关键点最高可支持216个，拥有百万级的训练数据，速度极快，只需要2毫秒。

Q：当主人在人群复杂场景移动时，为什么铁蛋能够实时准确的跟随主人？同时能够自主避障？

A：铁蛋配备的AI交互相机和2个150°的超广角鱼眼相机，搭配深度摄像模组，使得铁蛋具有超强的视觉空间感知能力，为铁蛋的智能跟随功能奠定了硬件基础。铁蛋的自主跟随功能是多个算法模块协作完成的，涉及的软件算法模块包括：人脸识别、人形检测、人体ReID、人体位置计算、SLAM建图、路径规划、导航避障等算法模块。

铁蛋在开启主人跟随模式后，首先通过人脸识别将主人和人体对应起来，在跟随的过程中实时进行人体ReID保证铁蛋不会被陌生人领走；在跟随前行过程中，我们会实时计算主人与铁蛋的相对位置关系，计算主人的前行速度并预测主人的行径路，根据这些信息铁蛋会实时的调整自己的速度和方向以实现智能的等距跟随，特别是当主人前进过快，或者拐弯铁蛋会通过语音提示主人。在跟随前行过程中，铁蛋会实时的进行SLAM导航避障，跟随过程中铁蛋检测到前方有障碍物时，会根据地图进行局部的路径规划和导航，自主的绕开障碍物，找到一条最优的路径跟上主人的步伐。

Q：铁蛋是怎么做到认识路的？

A：铁蛋具有自主定位导航的功能。在铁蛋头部装有AI交互相机、双目超广角相机、Intel Realsense D450深度摄像头等传感器。利用这些传感器通过SLAM技术实现铁蛋的定位和环境感知，建立导航地图。通过APP，用户可查看地图，选择目的地。目的地确认后，铁蛋通过导航规划技术可自动规划到目标点的前进路线，并自主规避运动过程中遇到的障碍物。简单讲就是，SLAM技术告诉铁蛋你在哪儿，你周围环境是什么样。导航告诉铁蛋你去哪儿，以及怎么去。

Q：在复杂环境里中准确寻找到物品，铁蛋是如何做到的？

A：铁蛋有探索未知环境和目标检测功能，实现边走边找的功能。利用头部视觉模组实时感知局部环境，发现环境中边界和可通行区域，同时，在行走过程中不断通过目标检测算法来对场景中的物体进行实时的定位及分类，检测到场景中有特定物品时，把此位置作为导航目标，规划出一条可行路径并走过去。

Q：开发过程中最大的挑战是什么？

A：第一点：从0到1，历时10个月完成了小米第一代四足机器人视觉功能的技术预研与量产交付；

第二点：基于NVIDIA平台而非我们熟悉或者有一定积累的高通平台，在此过程中我们一边扩大团队，一边学、探索和开发，大部分的算法都是自己开发的，过程非常艰辛；

第三点：铁蛋是第一个直播发布的仿生机器人平台，量产并发售给普通用户的机器人平台，在安全性和可靠性方面，我们做了充足的工作。

Q：铁蛋未来还会有可能开发出哪些功能？

A：铁蛋汇集了小米的核心技术积累，包括但不限于机器学习、生物识别、计算机视觉等。在高端硬件模组和多种软件算法的应用下，铁蛋可以实现更真实的生物反应以及环境观察和辨识能力。未来，在视觉交互层面，我们将会创造更有趣的玩法，开辟更多新功能，让铁蛋的交互场景也更加丰富；并会不断的开发和优化适合铁蛋平台的SLAM和导航的算法框架，使其有更优异的性能，在复杂的环境下依旧具备精准的建图定位能力和导航避障能力。此外，机器视觉、导航避障、人机交互、Al语音算法等技术可以反哺手机、智能家居等产品。

刘慈欣表示：“科技与科幻都是人类想象力的延伸，和人类未来的生活息息相关。科技在很多方面将科幻变成现实。”

铁蛋融合了仿生机器人的特性，在动物属性上增加了高科技的智能算法，赋予它人类最期待的智能功能，包括但不限于机器学习、生物识别、计算机视觉等，支持超感视觉探知系统，是科技和现实载体的结合。基于小米自研的人脸识别、人体检测、室内建图导航等算法的应用，内置高性能超感视觉探知系统和AI语音交互系统，搭配深度摄像模组，使得铁蛋具有科技感的同时，兼具真实的生物反应。

我是Cyberdog铁蛋，未来我会不断学习更多的技能，融入更多的前沿新兴科技，变成一个“全能铁蛋”，让全球每个人都能享受科技带来的美好生活，请大家敬请期待吧！

原文标题：听说，有人向铁蛋发起了挑战

文章出处：【微信公众号：小米公司】欢迎添加关注！文章转载请注明出处。
责任编辑:pj