前些时间，我在知识星球上创建了一个音视频技术社群：关键帧的音视频开发圈，在这里群友们会一起做一些打卡任务。比如：周期性地整理音视频相关的面试题，汇集一份音视频面试题集锦，你可以看看这个合集：音视频面试题集锦。再比如：循序渐进地归纳总结音视频技术知识，绘制一幅音视频知识图谱，你可以看看这个合集：音视频知识图谱。
下面是 2022.10 月知识图谱新增的内容节选：
1）图谱路径：视频生产及编辑/采集预览/指标优化
- 相机打开成功率相关
- 权限检测与引导
- 错误重试与监测
- 相机打开速度相关
- 优先使用 CPU 资源
- 异步初始化非必要组件
- 首帧占位体验优化
- 采集预览流畅度相关
- 线程模型优化：使可并发的任务跑在不同的线程上；使用缓冲区组合生产消费者模型，各个模块可以并行，而且性能兼容性更好
- 采集与前处理数据交互优化
- 减少 CPU 与 GPU 的数据拷贝
- 不同设备智能选择分辨率和帧率
- 采集画面质量相关
- 对焦优化
- 摄像头模糊优化
- 画质增强优化
- 采集内存相关
- iOS/Android 采集数据输出格式，尽量设置为 YUV 数据格式
2）图谱路径：视频生产及编辑/视频录制/指标优化
- 录制成功率优化
- 优化相机和麦克风权限申请流程确保权限正常
- 设置一定的重试流程，当遇到录制报错，可以重试录制流程
- 统计录制出错的细分错误码，这样就能更好的定位录制失败的原因进行针对性的优化
- 录制流畅度相关/采集优化
- 视频优先使用 YUV 源数据，优化内存及图像处理性能；
- 不同设备智能选择分辨率 帧率，可手动实现丢帧模块控制帧率；
- 采集线程模型优化：使可并发的任务跑在不同的线程上；使用缓冲区组合生产消费者模型，各个模块可以并行，而且性能兼容性更好。
- 录制流畅度相关/图像处理优化
- 采集到前处理的数据进行下采样，这样可以提升前处理模块的处理速度。
- 视频数据对齐分辨率，防止多次采样消耗性能。
- 视频数据对齐下采样的方式（RGB、YUV），防止多次数据格式转换消耗性能。
- 做图像的裁剪、缩放、尺寸变化时要注意优化性能。可以使用 libyuv 来做常规的图像处理，一些 libyuv 版本甚至做过汇编级别的优化来提升图像处理的性能。
- GPU 和 CPU 要尽量少做数据拷贝，性能比较差。可以使用系统能力来实现 GPU 和 CPU 的内存共享来做相关的优化。
- 录制流畅度相关/编码优化
- 编码器优先使用硬件编码，出错后软件编码兜底。
- 可以使用编码器复用池来优化启动速度。
- 不同设备智能编码分辨率 码率，码率可通过 PSNR、VMAF 等评估方式找到最优码率甜点。
- 尽量使用异步编码，性能更加流畅。
- 优先使用 H.265 编码，相同清晰度可降低码率。
- 录制流畅度相关/封装优化
- MOOV 前置，优化播放秒开速度。
- 音视频时间戳做好交错，优化播放秒开与卡顿。
- 可以根据需求考虑封装格式使用 FMP4，FMP4 格式可支持分段并发上传。
- 录制流畅度相关/线程模型优化
- 采集线程：使用系统相机能力实现图像采集。
- 特效线程：根据是否包含 AI 处理管理 CPU 线程。CPU 处理线程：跑一些 AI 模型任务；GPU 处理线程：跑一些图像处理任务。
- 编码线程：单独开启编码线程提高帧率。
- 封装线程：单独开启封装线程，使用缓存，处理音视频交错，提升封装和文件写入速度。
2）图谱路径：视频生产及编辑/视频发布/指标优化
- 转码成功率
- 多种编解码方案兜底
- GOP 粒度的解码重试
- 转码错误重试与监测
- 上传成功率
- 视频大文件分片上传
- 就近上传
- 预探测上传
- 上传网络错误重试与监测
- 转码平均时长
- 减少不必要的转码
- 多线程优化
- 转码方式适配
- 解码器复用池
- 图像数据处理速度优化
- 解码数据和纹理数据转换优化
- 上传平均时长
- 转码状态依赖优化
- 视频分段并发上传和转码
- 达标视频尽快分发
- 就近上传
- 预探测上传
- 传输协议优化
- 视频秒传
- 视频预上传
下面是 2022.10 月的知识图谱新增内容快照（图片被平台压缩不够清晰，可以加文章后面微信索要清晰原图）：
2022.10 知识图谱新增内容
