DJI新品:AI教育人工智能套件云体验

2022-04-25 20:23:09 浏览数 (2)

今天看见朋友圈看见大疆的教育新产品的视频内容:

就是这个

为了抢全网第一个云体验,赶紧打开电脑写一篇,至于用不用的到,日后再说吧~

新品的渲染图真的好看

主要功能是理解图像内容:比如识别这是啥~

一套开箱即用的训练平台

一个自动识别物品并且结账的demo

看这个改装程度,是EP

加到飞机上面进行穿杆

我不记得这个地方的接口是什么来着

与以前的扩展接口兼容的

主要算力是这个方案,让我们想想是不是K210呢~

看看K210的参数还是很靠近的,至于是不是,我这里也不敢说什么,有机会可以拆机的话,是可以验证的。

打卡

这个没有什么好说的,就是这个320x240,不想是QVGA的分辨率,任务类型是目标检测。

这个V2模型的特点是:

由于YOLOv2模型中只有卷积层和池化层,所以YOLOv2的输入可以不限于416x416大小的图片。为了增强模型的鲁棒性,YOLOv2采用了多尺度输入训练策略,具体来说就是在训练过程中每间隔一定的iterations之后改变模型的输入图片大小。由于YOLOv2的下采样总步长为32,输入图片大小选择一系列为32倍数的值:

输入图片最小为320x320,此时对应的特征图大小为10x10(不是奇数了,确实有点尴尬),而输入图片最大为608x608,对应的特征图大小为19x19,在训练过程,每隔10个iterations随机选择一种输入图片大小,然后只需要修改对最后检测层的处理就可以重新训练。

相机参数也有了,这个地方需要注意的是,摄像头是全局快门,为了高速的捕捉场景。

比较有趣的是视频流走的SPI

屏幕是LCD的

回到之前,通用的是NXP的片子,然后,摄像头和算力在一起,最后是一个LCD的触摸屏幕。

这个NXP的片子很强,我拿来跑OpenMV,这次腾讯的比赛也是这个板子:

很强

感觉不会很便宜,我这里盲猜个价格吧,2500?

我们接下来看看个文档

数据帧的结构

字段的意思

更多的数据格式的信息在一开始有写明:

AI模块设计了一些和其它模块通信的协议,相当于是你接触不到它内部的实现,只是暴露了一些接口出来。可以从命令的名称推测出来一些东西,比如AI模块的视频流传输使用的是SPI,信息是串口推送,至于这个高速,可能就是波特率高一些。

这些名称有具体的说明在文档的下面:

这里选择一个感兴趣的命令看下,SPI通过14pin中的接口走

REQ:请求,RSP:响应,PUSH:推送,这是命令码表的传输方向和回复信息。

看这个发包频率,2Hz

高速串口的说明这里也有

看看图像的采集模式,如果这个捕捉的命令是由触摸屏给的,那么就是走的USB接口,也就是说AI和NXP是通过USB连接(可能说错了),后面就是串口的传输了,看这个说法,是有多组串口的。

我们可以算一下这个东西

我们可以算算视频流的大小~

这些是已知的数据

也就是一秒60FPS,传输数据150KB大小

一分钟就是9MB

我觉得是是因为LCD的屏幕刷新频率高,串口传输的话这个数据量可能不是很ok,所以走了USB。

云体验到此结束,有机会试试实物~

代码语言:javascript复制
https://www.nxp.com.cn/products/processors-and-microcontrollers/arm-microcontrollers/i-mx-rt-crossover-mcus/i-mx-rt1064-crossover-mcu-with-arm-cortex-m7-core:i.MX-RT1064?#design-resources
代码语言:javascript复制
https://www.jianshu.com/p/87645a11b510
代码语言:javascript复制
https://canaan-creative.com/developer
代码语言:javascript复制
https://www.dji.com/cn/ai-module#23802

0 人点赞