用Jetson Xavier NX检测浏览网页时的情绪

2022-08-26 12:49:43 浏览数 (1)

一个国外的开发者用Jetson Xavier NX开发了一个应用,叫BrowZen,目标是将您的情绪状态与您访问的网站相关联,为您提供有关您如何花时间浏览网络的可行见解。

项目地址:https://github.com/nickbild/browzen

除了网页浏览,我还想探索这个想法可能会有所帮助的其他领域。

这个怎么运作

连接到 NVIDIA Jetson Xavier NX 的网络摄像头会定期捕获计算机用户的图像作为后台进程。这些图像通过 VGG19 卷积神经网络进行分类(参见classify_emotion.py) ,该网络经过预训练以识别七种情绪状态(“愤怒”、“厌恶”、“恐惧”、“快乐”、“悲伤”、“惊喜”、和“中性”)。观察结果(情绪状态、日期时间戳)记录在 SQLite3 数据库中。为了隐私保护,图像在分类后被销毁,所有处理都在本地进行——没有任何东西发送到云端。

接下来,analysis.py连接到 SQLite3 数据库,该数据库将 Web 历史记录存储在 Chrome/Chromium 中,并将网站访问时间与分类步骤创建的情绪状态观察数据库相关联。分析结果,即访问每个网站时观察到的每种情绪状态的总和,存储在 SQLite3 数据库表中。

最后,分析结果用于生成 Web 仪表板 ( generate_dashboard.py) ,以提供一种简单的方法来可视化平均而言,每个访问的网站如何影响他们的情绪状态。Web 仪表板 ( dashboard.html)仅依赖于 HTML5 和 JavaScript。

细节

网络仪表板,概述访问各种网站期间的情绪反应

实时分类情绪

Jetson Xavier NX

对未来方向的构想

创建一个浏览器插件可能很有用,该插件显示一个始终可见的小图标,代表访问当前网站时经历的过去情绪。这将作为对可能改变当前行为的过去经历的快速提醒。作者还希望除了网页浏览,还能探索这个想法可能会有所帮助的其他领域。

即将开始的活动:

0 人点赞