“君正是最早一家全身心地聚焦SVIoT赛道的芯片企业,并提供芯片,AI算力,开发平台和解决方案等全栈式核心技术。”
近日,合肥君正带着一颗叫T40的芯片,首次围绕SVIoT概念,正式走到了市场台前。
SVIoT,从AIoT脱颖而出
智能视觉物联网,即SVIoT,Smart Vision for the Internet of Things(SVIoT)。
如其名,它是由物联网赛道发展而来。
SVIoT与传统IoT/AIoT同源,都属于IoT范畴,都属于智能硬件范畴,都涉及芯片、产品、算法、方案、联网等环节。
但,SVIoT与后者也有不同。
IoT以无线互联(WIFI/BT/…)和MCU为主导,以小设备为核心;AIoT则概念宏大,似乎除手机和PC外,均可AIoT。
SVIoT聚焦于视觉,定位明确。
从信息获取的角度,视觉是最重要的感知手段,人类大约有超过80%的信息来自眼睛。SVIoT虽然是AIoT的细分领域,但作为AI时代的主要入口,计算机视觉在AI领域中应用场景极其丰富,也是极具商业化价值的赛道。
而视觉产业也的确率先进入爆发期。智慧家庭、数字城市、智能门铃、安防监控、车规感知、工业视觉、视频会议、3D视觉、可视医疗、体感娱乐、服务机器人等。当前最热的典型市场,都有SVIoT的身影,聚焦之下,脱颖而出。
SVIoT以视觉成像、视频处理、AI算法分析、可控成本、低功耗,端云互联和大数据为核心技术,比传统IoT发展更快,技术含量更高。
SVIoT对芯片的要求更高,一般的MCU WIFI难以满足性能需求,而手机AP的成本又过于冗余,这个赛道适合真正掌握核心IP的公司,对实力与执行力要求极高。
君正正是这样一家聚焦SVIoT赛道的芯片公司,他们提供从芯片,到AI算力,到开发平台,到算法整合一体化解决方案。
如今,君正在SVIoT赛道的芯片已经大规模地出货。
T40,为 SVIoT 而生
扎根智能视觉领域多年,合肥君正专门为SVIoT设计了一款芯片T40。
“在AI安防领域,T40是中高端产品最佳的替代者。”
在电池类摄像头,合肥君正已经拿下了市场50%以上的份额,在合肥君正看来,这款T40加持下,这一数据有望再升高。
T40针对SVIoT专门定义了规格:
1. XBurst2 双核CPU
2. 星光监控级双摄ISP
3. 4K(2169P)视频编码
4. 最大8T算力AI-Engine
5. 内置DDR
6. 支持1080P屏显
7. 最大功耗小于1.2W(含DDR)
用了双核XBurst2及增强RISCV协处理器的T40,启动速度、性能、功耗、首帧效果上进一步提升。8T算力的AIE NPU,让T40在同级别芯片中算力遥遥领先。4K视频和ISP能力,丰富的前后IO接口,完全覆盖各种差异化视觉应用。
第三代星光级ISP,高质量成像能力
全场景,全天候,高质量的成像能力,是T40的看家本领。
君正视频事业部IC总监Jerry告诉AI掘金志,针对一些效果上的行业痛点,T40的ISP做了针对性增强。例如光源矫正、肤色还原、3D降噪去拖影、锐化提升、ADR自适应、全局通透增强、WDR/HDR、色噪降噪、强光抑制、双目合成等等方面,T40均进行了大量有效突破。
T40 WDR效果,人脸与远景清晰可见,暗处细节丰富;
T40星光夜视全彩,亮度≤0.01lux,噪声平缓,色彩丰富,细节清晰。
高算力和敏捷的AI开发平台
最高可达8T算力,这是T40的一大杀手锏,这得益于背后的AI引擎(AIE)。据悉,在目前同级芯片上,这个算力是业内最高的。
“这源自君正十多年对CPU/多媒体计算技术的深入掌握,AIE实现了超高算力,超低功耗,超强灵活性,这是业内难以复制的独特优势。”
AI-Engine(AIE)是君正一整套的AI加速引擎,AIE引用了多种DSA的设计理念,实现了对DL/CV算法多维度的加速:
T40上的AIE规格如下:
- 最高8T ops算力,int16/in8/int4/in2混合量化,实测利用率可达70%以上;
- 512bit SIMD向量加速指令集,使用灵活;
- 协处理器单元,优化前后处理;
- 高效RAM pool,深度优化内存带宽吞吐;
- 实测运行功耗低于500mW,能耗比最低达到了0.05W/T级别。
Magik是一个面向端侧AI应用的全栈式开发平台,除了基本的工具链还包含其他丰富的辅助开发资源,并且支持后量化和更先进的量化感知训练(QAT)。
Magik集模型训练、优化转换、部署推理于一体,并提供模型检查器、调优器、性能分析器等工具:
- 全面支持pytorch/tensorflow/mxnet/caffe/onnx等主流框架;
- 支持量化感知训练(QAT)和后量化;
- 支持2/4/8/16精度混合训练及转换优化;
- 开放常见算法全流程代码,以及经典网络的backbones。
端级算法本身呈现多样性,碎片化的客观现状,合肥君正利用AIE Magik,能有效突破端侧AI的算力瓶颈,获得明显的产品落地优势:
- MAC利用率提升1到2倍,推理速度提升2到4倍;
- 算法运行的RAM/ROM消耗减少50%~70%;
- 带宽降低35%~85%;
- 发热减少40%~80%。
算法赋能,好用才是王道
君正算法总监Sandy评价Magik时认为:“算力和工具只是基础,真正能把算法落地到各种场景中,并取得成本、效率、功耗等多方面的优势才是王道!”
据了解,AIE Magik已经成功服务了超过几十家客户,包括一些行业知名品牌、传统算法公司、行业监控企业、大型互联网品牌、电信运营商以及初创极客。
君正联合了一系列算法合作伙伴,针对各种场景提供了完整的算法赋能方案,极大地加速产品落地过程。目前与君正T40直接或间接合作的有一系列算法供应商、十多家场景应用厂家,相关大小项目过百。
在各方合作之下,基于T40应用厂商可快速出新算法,如此,在产业这条多米诺骨牌下,厂商得以快速覆盖新场景,赋能新行业。
在传统应用上,如车辆识别、车牌识别、行人检测,人脸识别,文字识别、周界防范、物品检测、移动侦测等已经十分成熟,除此之外,另有许多新颖创新的场景正在陆续量产中,如家庭与宠物识别、枪球联动、OCR、骨骼行为分析等。
Sandy表示:“Magik到目前已经成功服务了十几家算法客户,我们客户最快的记录是两周完成一个算法的移植。”
超低功耗设计,可以有多低?
功耗,是智能硬件领域永恒不变的话题。
低功耗,是君正长期内在的技术基因之一。从早年的教育电子/PMP,到之前的可穿戴腕表,再到当前的SVIoT,君正芯片历来是功耗的佼佼者。T40理所当然地沿袭了这一优势。
T40在AI算力全开的情况下,功耗仍能控制在优秀范围。根据不同场景,实测功耗数据如下:
其中AI引擎的推理功耗小于500mW,最低能耗比达到了震撼的0.05W/T级别。
关于功耗,Jerry表示:“过去几年,在功耗方面的PK,T系列芯片暂时还没有输过。”
产品属性齐全,缺芯之下仍可量产?!
基于T40,君正提供了各种完整的方案参考、软件代码、第三方算法以及云平台资源,包括AI智能安防相机方案、低功耗摄像机方案、枪球联动方案、VSLAM方案、人脸面板方案、视频会议方案等。不知不觉间,优质的服务成为了君正在智能视觉市场的核心竞争力之一。
在半导体供应紧缺的大背景下,君正为相关产品调好了一些可以无缝切换的外围物料,最大程度降低了因缺货带来的不利影响。
同时,君正全力保证T40的供货安全。针对供货情况,合肥君正中国区市场总监Mick表示:“T40正好避开了上游供应的重灾区,未来大规模供货我们很有信心,欢迎客户积极开案!”
凭借着芯片性能、AI算力、开发环境、超低功耗、成熟方案以及供货安全等诸多优势,T40将在SVIoT新赛道上踏浪前行。