前言：
之前的两篇文章《优化延迟的最佳视频传输方案（一）》和《优化延迟的最佳视频传输方案（二）》介绍了视频传输系统中分发链前端、媒体内容准备、内容传输和播放端优化方面的最佳方案，本文将对后续整体的性能测试进行介绍。
PART 5 性能测试
OTT服务商发现即使是在线视频质量上看似微不足道的问题也有可能导致严重的破坏效果。他们维持全面质量控制（QC）的能力已成为竞争激烈的市场中的关键，因为观众对性能不佳表现出很小的容忍度。了解消费者对其服务的反应至关重要，所以确认广告效果执行的能力也变得越来越重要。
考虑到流媒体场景中涉及不同的应用程序和接入点，满足质量控制要求是一项艰巨的任务。服务商需要了解影响内容流的所有因素，从初始处理到最终用户播放。他们必须能够轻松评估播放的有效性，包括支持DVR和时移的广告和应用。
本文探讨了监控、分析和其他最佳方案，它们对于实现所需的流媒体性能以及产生最佳观看体验和财务回报至关重要。
全面的性能监控始于Telemetry，从第一英里到客户端用户体验收集有用的信息。这需要及时协调数据反馈，以加快对性能问题的分析并缩短缓解时间。
为内容发布做好准备
无论是准备发布OTT视频服务还是大型直播活动，规划和协作的重要性都不容小觑。内容提供商应与其视频工作流和内容交付网络（CDN）提供商密切合作，以确保对服务目标有共同的理解。各方应协同工作以测试集成、开发和部署备份计划，并明确识别和定义角色和职责。
此外，内容提供商应考虑对其整个视频工作流程进行负载测试，包括所有应用、网站和主要合作伙伴。这验证了工作流已准备好处理大规模受众，并有助于确保观众能够在任何给定的用户界面中找到所需的内容。这种类型的测试可以识别架构中的潜在弱点，并在问题影响观众之前提供缓解问题的机会。
监控内容准备过程
必须对内容准备过程中的每个步骤进行监控，以便在问题导致中断之前识别问题。应正确分配工作负载，以避免转码器过载并确保质量，延迟期望与内容提供商设定的目标相匹配。期望可能会有所不同，具体取决于用例是否需要提供1080p甚至4K UHD流，优先考虑高质量的延迟。但是低延迟是最重要的，分辨率可能会略微降低以满足延迟目标。
全面监控将确定转码器是否在设定质量和延迟范围内运行，这可以从转码器提供的数据中获得。内容提供商应对其备份编码器应用相同的可见性，以确保输出保持其延迟和质量水平。
监控第一英里
保持第一英里的质量控制需要持续的性能监控和分析，这有助于确保内容提供商可以在主工作流发生中断之前激活编码器和摄取网络之间的备用冗余路径。对第一英里性能的可见性可以深入了解延迟和数据包丢失对视频质量（启动时间，重新缓冲）的影响。第一英里的质量控制对OTT提供商至关重要，因为第一英里内的任何问题都可能导致播放端出现问题。
最佳方案是直接从编码器以及摄取网络中提取性能和视频质量信息，以确保能够访问第一英里的连续监视和分析。
监控CDN性能
下一步是使CDN提供商在能持续保持质量。这需要近乎实时地集中访问来自所有组件的数据和关于特定内容流的信息。这里的目标是主动识别网络拥塞，在问题发生之前缓解问题。
CDN提供商应提供服务器端对网络性能的洞察，包括：边缘服务器区域的可用性、性能或吞吐量、流量和HTTP状态码。CDN应该能够使用该信息来确保流量畅通无阻。提供商还必须通过各种方式与客户共享相关数据，包括主控面板、portal、日志和API。
播放端测量和分析
捕获每台设备上播放时发生的事情对于确定视频流是否提供预期的体验质量（QoE）至关重要，同时，评估内容的吸引力以及广告展示位置是否正确也很重要。为了充分利用播放时客户端数据收集的潜力，在遵守当地和地区的隐私法的前提下，提供商必须使用可以收集和处理数据的播放器技术并集成分析软件。具体而言，凭借强大的播放监控和测量系统，服务商可以：
- 根据播放请求、启动失败、启动时间、视频可用性、比特率、重新缓冲率和持续时间的数据评估用户体验质量。
- 根据观众人数、播放持续时间、放弃率、完成率、比特率和重新缓冲，确定受众参与度和次优QoE容忍度的阈值。
- 通过使用与帐户信息相关的播放数据，根据访问和播放历史开发个人资料，更好地了解受众。
- 按地理位置、设备、连接速度、ISP、视频长度等过滤数据;
- 通过验证广告的正确放置和其正确播放来支持广告，并应用受众群体参与指标来衡量收视率。
在所有情况下，分销商必须能够将数据流集成到他们的分析工作流程中。为了促进这些集成，编译数据应该与常用的开放接口（API）一起呈现。
数据分析
分发商使用提取数据的能力取决于可以优化分析和提取相关数据的分析功能。首先，提供商使用的工具必须可以将播放中暴露的任何问题与整个分发链中的数据相关联来帮助确定问题的根本原因。
监控和分析工具需要足够灵活且足够快，以提供快速识别高级别趋势和性能阈值的报告。他们还应该能有选择细化细节，例如，跨不同的可自定义维度分析数据。
在广告方面，报告需要验证展示位置的准确性，广告中断过渡的无缝性以及让广告系列在整个广告时段保持运行的观众数量。对于为内容提供商客观检查第三方指标的准确性以验证广告效果的播放分析也至关重要。
商业流媒体运营的风险太高，不能听凭运气。内容发行商需要确定他们提供的内容将满足观众的期望。实现这一目标的关键部分是建立强大的监控和分析功能，以便从头到尾了解内容交付。
参考资料
https://www.streamingmedia.com/Articles/Editorial/Featured-Articles/Best-Practices-For-Premium-Video-Streaming-Part-5-Performance-Testing-129770.aspx
