ESP32眼动追踪设计实现-EyeTrackVR-电子发烧友网

眼动应用其实实现的主要功能是：实时注视估计和跟踪。注视估计是识别任何给定时刻的视线，而跟踪是连续跟随视线的能力。

这个眼动仪是研究性质的，不建议，也不适合投入生产实践。文章中诸多细节也未给出，硬件改装也未给出。安全性和合规性也未给出，有复现的，研究的，注意相关文件的补充。

ESP32-CAM是采集眼动数据的，接着通过串口或者网络把这个数据传到电脑里面，这个时候有一个Python后端在运行，把视频流解码，然后使用一个上位机来控制这个后端。

这个东西只要25

传输上面，一个是无线的2.4G：

测试

一个有线的-看上去是USB，其实是串口，比特率高的不行（30W）

这里我就放了seeed的板子

首先项目第一步要跑起来这个后端：

安装windows的包管理

> Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser
> Invoke-RestMethod -Uri https://get.scoop.sh | Invoke-Expression

成功

scoop install pipx
pipx ensurepath

接着安装pipx

pipx install poetry

这个代码在运行的时候不可以翻墙，我这里是手机热点安装成功。

pipx ensurepath

自动加路径

poetry install --no-root

最后在包下面安装所有的依赖

需要注意要使用高版本的解释器

这里会出现很多吃这个问题

我们只要把上面的包重新卸载安装就好

这个是所有的后端需要的库

完成后，直接开启

会有一个集成的API列表出现

这个API写了什么呢？

这段JSON描述了一个跟踪系统的配置，关键组件的简要说明：

Enabled: 指示跟踪系统当前是否启用。在这里，设置为false，表示已禁用。

Algorithm: 描述了跟踪系统使用的算法。

以下是按顺序列出的算法：

每种算法可能具有特定的参数和配置。

LEAP

BLOB

HSRAC

RANSAC

HSF

Camera: 描述了与捕获输入有关的参数：

Capture Source: 当前为空，这意味着此处未指定。

Rotation: 指定捕获图像的旋转。

Threshold: 相机操作的阈值。

Focal Length: 相机镜头的焦距。

Flip X/Y Axis: 指示是否沿着X或Y轴翻转图像的标志。

Region of Interest (ROI): 指定捕获图像中感兴趣的区域，由其X、Y坐标、宽度和高度定义。

细节什么的，以后再写，现在看固件，使用platformio开发

默认固件就是最便宜的开发板

使用USB的话可以直接切换工程

这些是需要的所有库，会自动安装

这个USB其实就是串口转USB，为了速度，30W的比特率

这个是相机的数据

fb = esp_camera_fb_get(); // 从相机获取帧缓冲区
    if (fb) 
    {
      len = fb->len; // 获取帧的长度
      buf = fb->buf; // 获取帧的数据
    } 
    else 
    {
      log_e("Camera capture failed with response: %s", esp_err_to_name(err)); // 如果获取帧失败，则记录错误信息
      err = ESP_FAIL; // 设置错误码
    }

这个是一帧数据的样子