一个国外的开发者用Jetson Xavier NX开发了一个应用,叫BrowZen,目标是将您的情绪状态与您访问的网站相关联,为您提供有关您如何花时间浏览网络的可行见解。
项目地址:https://github.com/nickbild/browzen
除了网页浏览,我还想探索这个想法可能会有所帮助的其他领域。
这个怎么运作
连接到 NVIDIA Jetson Xavier NX 的网络摄像头会定期捕获计算机用户的图像作为后台进程。这些图像通过 VGG19 卷积神经网络进行分类(参见classify_emotion.py) ,该网络经过预训练以识别七种情绪状态(“愤怒”、“厌恶”、“恐惧”、“快乐”、“悲伤”、“惊喜”、和“中性”)。观察结果(情绪状态、日期时间戳)记录在 SQLite3 数据库中。为了隐私保护,图像在分类后被销毁,所有处理都在本地进行——没有任何东西发送到云端。
接下来,analysis.py连接到 SQLite3 数据库,该数据库将 Web 历史记录存储在 Chrome/Chromium 中,并将网站访问时间与分类步骤创建的情绪状态观察数据库相关联。分析结果,即访问每个网站时观察到的每种情绪状态的总和,存储在 SQLite3 数据库表中。
最后,分析结果用于生成 Web 仪表板 ( generate_dashboard.py) ,以提供一种简单的方法来可视化平均而言,每个访问的网站如何影响他们的情绪状态。Web 仪表板 ( dashboard.html)仅依赖于 HTML5 和 JavaScript。
细节
网络仪表板,概述访问各种网站期间的情绪反应
实时分类情绪
Jetson Xavier NX
对未来方向的构想
创建一个浏览器插件可能很有用,该插件显示一个始终可见的小图标,代表访问当前网站时经历的过去情绪。这将作为对可能改变当前行为的过去经历的快速提醒。作者还希望除了网页浏览,还能探索这个想法可能会有所帮助的其他领域。
即将开始的活动: