Orange Pi 5的AI应用怎么玩？看看AI-In-A-Box如何打造无需互联网连接的“ChatGPT”

前不久，基于Orange Pi 5 Plus的DEEPX人工智能产品亮相世界人工智能硬件与边缘AI峰会，让大家感受到Orange Pi 5 Plus妥妥的AI硬实力。现在又发现了一个可以基于Orange Pi 5的AI应用——AI-In-A-Box。

据美通社报道，专注于人工智能的初创公司 Useful Sensors日前推出了全球首个低成本、现成的人工智能模块AI-In-A-Box，无需互联网连接，即可在本地与电子设备进行直观的自然语言交互。

该 AI-In-A-Box模块可以回答、查询和解决问题，其方式与基于大型语言模型（LLM）的著名AI工具类似。但由于采用了由Useful Sensors开发的压缩和加速技术，该模块可在本地托管其LLM文件，从而使其低成本微处理器能够理解并即时响应口头自然语言查询或命令，而无需参考数据中心。

由于与互联网断开，AI-In-A-Box模块彻底消除了用户对隐私、窥探或依赖第三方云服务等问题的担忧，而这些问题在大型技术公司销售的基于LLM的传统人工智能产品和服务中十分普遍。

Useful Sensors公司创始人兼首席执行官、前谷歌人工智能项目负责人Pete Warden说：“AI-In-A-Box模块包含一个先进的模型，用户可以与之自然对话，无需网络连接、账户或API调用。它提供了人工智能的优势——一种直观、自然的方式来控制家中的设备、回答询问或只是与一个自然语言化身聊天，而无需与大科技公司或云服务提供商共享任何对话或其他数据。”

除了可以像与人交谈一样与盒子进行交互的对话式人工智能外，AI-In-A-Box还可以进行多种语言之间的实时翻译、显示对话的实时字幕以及可以模拟USB键盘的语音工具。

AI-In-A-Box模块现在可以在CrowdSupply购买，售价299美元。

高性能 NLP的本地实施

AI-In-A-Box模块的自然语言处理（NLP）性能与著名的基于LLM的工具类似；它可以回答问题、讲故事和笑话，并就艺术或体育等话题发表意见。但是，这些工具需要在数据中心托管高性能、高成本的GPU阵列，而AI-In-A-Box模块只包含一个运行所有AI操作的通用Arm® Cortex®-A级微处理器。

在定制的外壳内，你会发现其配备了功能强大的瑞芯微RK3588S SoC、8GB内存、内置显示屏、扬声器和麦克风，使用的操作系统是Ubuntu 22.04。

看到这里，不得不说，香橙派的Orange Pi 5简直就是为AI-In-A-Box量身定制的。Orange Pi 5采用了瑞芯微RK3588S新一代八核64位处理器，主频最高可达2.4GHz，集成ARM Mali-G610 MP4 GPU，内嵌高性能3D和2D图像加速模块，内置高达6 Tops算力的AI加速器NPU，拥有4GB/8GB/16GB/32GB（LPDDR4/4x），具有高达8K显示处理能力。

Orange Pi 5引用了相当丰富的接口，包括HDMI输出、GPIO接口、Type-C、M.2 PCIe2.0、千兆网口、2个USB2.0，1个USB3.0等；支持Ubuntu、Debian、Android12等操作系统。

Orange Pi 5默认不带WiFi和蓝牙，虽然板上有一个以太网端口，但由于AI-In-A-Box不需要连接互联网，因此也无需连接。由于在本地提供所有数据，可完全保护敏感对话或资料的隐私。