眼动应用其实实现的主要功能是：实时注视估计和跟踪。注视估计是识别任何给定时刻的视线，而跟踪是连续跟随视线的能力。
这个眼动仪是研究性质的，不建议，也不适合投入生产实践。文章中诸多细节也未给出，硬件改装也未给出。安全性和合规性也未给出，有复现的，研究的，注意相关文件的补充。
算法在之后的时间里会有补充。
Apple Vision Pro-1984来临前的序曲
开发一个完整的眼动追踪应用-Python版
眼动追踪传感器选型
眼动追踪:梯度法精确定位眼中心(论文)
ESP32-CAM是采集眼动数据的，接着通过串口或者网络把这个数据传到电脑里面，这个时候有一个Python后端在运行，把视频流解码，然后使用一个上位机来控制这个后端。
这个东西只要25
传输上面，一个是无线的2.4G：
测试
一个有线的-看上去是USB，其实是串口，比特率高的不行（30W）
这里我就放了seeed的板子
首先项目第一步要跑起来这个后端：
安装windows的包管理
代码语言：javascript复制> Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser
> Invoke-RestMethod -Uri https://get.scoop.sh | Invoke-Expression
成功
代码语言：javascript复制scoop install pipx
pipx ensurepath
接着安装pipx
代码语言：javascript复制pipx install poetry这个代码在运行的时候不可以翻墙，我这里是手机热点安装成功。
代码语言：javascript复制pipx ensurepath自动加路径
poetry install --no-root
最后在包下面安装所有的依赖
需要注意要使用高版本的解释器
这里会出现很多吃这个问题
我们只要把上面的包重新卸载安装就好
这个是所有的后端需要的库
完成后，直接开启
会有一个集成的API列表出现
这个API写了什么呢？
这段JSON描述了一个跟踪系统的配置，关键组件的简要说明：
- Enabled: 指示跟踪系统当前是否启用。在这里，设置为
false，表示已禁用。 - Algorithm: 描述了跟踪系统使用的算法。
- 以下是按顺序列出的算法：
每种算法可能具有特定的参数和配置。
- LEAP
- BLOB
- HSRAC
- RANSAC
- HSF
- Camera: 描述了与捕获输入有关的参数：
- Capture Source: 当前为空，这意味着此处未指定。
- Rotation: 指定捕获图像的旋转。
- Threshold: 相机操作的阈值。
- Focal Length: 相机镜头的焦距。
- Flip X/Y Axis: 指示是否沿着X或Y轴翻转图像的标志。
- Region of Interest (ROI): 指定捕获图像中感兴趣的区域，由其X、Y坐标、宽度和高度定义。
细节什么的，以后再写，现在看固件，使用platformio开发
默认固件就是最便宜的开发板
使用USB的话可以直接切换工程
这些是需要的所有库，会自动安装
这个USB其实就是串口转USB，为了速度，30W的比特率
这个是相机的数据
代码语言：javascript复制fb = esp_camera_fb_get(); // 从相机获取帧缓冲区
if (fb)
{
len = fb->len; // 获取帧的长度
buf = fb->buf; // 获取帧的数据
}
else
{
log_e("Camera capture failed with response: %s", esp_err_to_name(err)); // 如果获取帧失败，则记录错误信息
err = ESP_FAIL; // 设置错误码
}这个是一帧数据的样子
这段代码的作用是循环地从摄像头捕获帧并将其传输到串行端口。如果捕获帧失败，则会记录错误信息并继续循环。在每次传输之后，会计算延迟并记录帧大小和延迟信息。
代码进行了解耦，就三部分，恒流源的LED和相机以及串口
这个是代码的循环
该函数的作用是不断循环监听串口通信。如果串口可用，它将尝试解析接收到的 JSON 命令，并将其传递给命令管理器进行处理。如果串口不可用（可能因为正在使用USB接口），则会调用 send_frame() 函数发送摄像头帧。
串口
函数 SerialManager::run()：
不断循环监听串行端口上是否有数据可用。如果有数据可用，则读取并解析 JSON 命令，然后交给 CommandManager 处理。
这个代码有趣
把代码的头对比好，来控制机器
初始化眼动跟踪器的网络相关功能（如果未启用 USB API）
看代码，串口没有控制功能，单纯的输出图像数据。
测试可以到70FPS，这个数据有点假
后端开启，再打开追踪的GUI
连接
这个是我的摄像头太垃圾了，没有调焦
开始捕获了
追踪中
这个上位机的代码呢，也可以自己开发：
第一步在这里改成小写以免打包失败（一定改）
记住进这个地方，不然读取不到打包文件
代码语言：javascript复制poetry run pyinstaller eyetrackapp.spec
在dist里面找到exe启动
最新的更新有了新算法
ONNX是一个开放式的规范，定义了可扩展的计算图模型、标准数据类型以及内置的运算符。该文件在存储结构上可以理解为是一种层级的结构。
最新的代码还是加入了神经网络
可能对于大多数人来讲，这些东西太过于复杂。但是没办法，就这么个情况，很多人倒是需要这个眼动仪，过段日子就可以小批量的卖一波了。
https://docs.slimevr.dev/common-issues.htmlhttps://github.com/raphaelbs/esp32-cam-ai-thinkerhttps://github.com/EyeTrackVR/EyeTrackVRhttps://github.com/EyeTrackVR/EyeTrackVR/releases/tag/EyeTrackApp-0.1.8.1https://fastapi.tiangolo.com/https://pipx.pypa.io/stable/installation/https://scoop.sh/
