今天我们要讨论的问题是一位社群的朋友遇到的一个面试题,原文如下:
之前遇到一个面试题,有一个线程在采集摄像头数据放到 buffer,然后在主线程显示。如果这时候需要添加一个滤镜,是否需要新开一个 buffer 和线程,是否会有线程安全问题,该怎么解决?
以下是回答,欢迎大家留言讨论补充:
从题目的意思来看,原来的流水线是:线程 1:采集 → buffer → 主线程:渲染,现在想在渲染之前加一个特效节点。 1)不新开 buffer 也不新开线程时,对应的流水线变为:线程 1:采集 → buffer → 主线程:滤镜 → 主线程:渲染。当滤镜渲染不复杂,耗时不多时,这种方案是可以搞的,因为滤镜主要涉及到 OpenGL 相关的操作,只要保证滤镜的 OpenGL 操作与渲染的 OpenGL 操作在同一个 EAGLContext 环境内即可。可以参考下图 OpenGL 操作缓冲区 FBO、着色器与 EAGLContext 的关系。
OpenGL2)新开 buffer 同时新开线程时,对应的流水线变为:线程 1:采集 → buffer 1 → 线程 2:滤镜 → buffer 2 → 主线程:渲染。这种方案当然是更好的方案,它使得各个模块可以并行,而且性能兼容性更好。因为在实际需求中,我们采集后的图像数据处理,除了滤镜,可能会增加人脸识别、磨皮、美白、特效等更复杂功能,这时候处理耗时就可能较长了,放在主线程可能卡住主线程,更可能会影响到渲染的帧率。此外,我们采集的图像数据除了预览渲染,一般是需要编码封装后存储本地或推流上传网络的,编码模块的速度与特效处理的速度不匹配时,这就需要增加 buffer 了。 这样一来整个流程就相当于两个生产者消费者模型了,而每个 buffer 就是对应的生产者和消费者线程的临界区。保证线程安全其实就是确保生产者线程和消费者线程对 buffer 数据的互斥访问,这里使用信号量即可。在 iOS 中可以用 dispatch_semaphore_t。