技术背景
VR头显需要更高的分辨率以提供更清晰的视觉体验、满足沉浸感的要求、适应透镜放大效应以及适应更广泛的可视角度，超高分辨率的优势如下：
- 提供更清晰的视觉体验：VR头显的分辨率直接决定了用户所看到的图像的清晰度。更高的分辨率意味着更多的像素数，可以呈现更细腻、更逼真的图像，从而提升用户的视觉体验，更高的分辨率可以进一步减少图像中的颗粒感和纱窗效应，让用户感受到更加真实的虚拟世界。
- 满足沉浸感的要求：VR头显的主要目的是为用户提供沉浸式的体验，使用户感觉自己完全置身于虚拟环境中。为了达到这种效果，头显需要能够呈现足够清晰、细腻的图像，以便用户能够清晰地看到虚拟环境中的各种细节。更高的分辨率可以确保用户在头部移动或转动时，依然能够保持画面的清晰度和稳定性，从而增强沉浸感。
- 适应透镜放大效应：VR头显通过透镜将小屏幕放大至用户眼前，以模拟大屏幕的效果。然而，这种放大效应会导致图像的像素密度降低，使得图像看起来相对模糊。因此，为了保持放大后的图像依然清晰，VR头显需要更高的分辨率来弥补透镜放大带来的像素密度降低问题。
- 适应更广泛的可视角度：一些VR头显设计倾向于在画质可以接受的情况下，尽量增大可视角度，以便用户能够更自然地观察虚拟环境。然而，这也会导致图像在边缘区域出现拉伸和变形。为了保持这些区域依然清晰可辨，VR头显需要更高的分辨率来确保整个画面的清晰度和稳定性。
技术实现
实际上，大牛直播SDK在2018年就发布了Unity的RTSP|RTMP的播放模块，平台陆续覆盖了Windows、Android、iOS和Linux，Unity下播放RTSP|RTMP流，原理很简单，底层原生模块，把RTSP|RTMP流拉过来，做解析解码回调YUV或RGB数据到上层，Unity环境下，做绘制即可。说来容易，难点在于，如果需要更好的解码效率、资源占用和低延迟，需要确保每个环节都做到极致，总体延迟可以达到200-400ms。
目前我们实现的功能如下：
- [支持播放协议]高稳定、超低延迟（毫秒级延迟，行业内几无效果接近的播放端）、业内首屈一指的RTMP、RTSP直播播放SDK；
- [多实例播放]支持多实例播放；
- [事件回调]支持网络状态、buffer状态等回调；
- [视频格式]支持RTMP扩展H.265，H.264；
- [音频格式]支持AAC/PCMA/PCMU/Speex；
- [H.264/H.265软解码]支持H.264/H.265软解；
- [H.264硬解码]Android/iOS支持H.264特定机型硬解；
- [H.265硬解]Android/iOS支持H.265特定机型硬解；
- [RTSP模式设置]支持RTSP TCP/UDP模式设置；
- [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换；
- [RTSP超时设置]支持RTSP超时时间设置，单位：秒；
- [RTSP 401认证处理]支持上报RTSP 401事件，如URL携带鉴权信息，会自动处理；
- [缓冲时间设置]支持buffer time设置；
- [首屏秒开]支持首屏秒开模式；
- [低延迟模式]支持超低延迟模式设置；
- [复杂网络处理]支持断网重连等各种网络环境自动适配；
- [快速切换URL]支持播放过程中，快速切换其他URL，内容切换更快；
- [实时静音]支持播放过程中，实时静音/取消静音；
- [实时快照]支持播放过程中截取当前播放画面；
- [渲染角度]支持0°，90°，180°和270°四个视频画面渲染角度设置；
- [渲染镜像]支持水平反转、垂直反转模式设置；
- [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔)；
- [音视频自适应]支持播放过程中，音视频信息改变后自适应播放；
- [扩展录像功能]完美支持和录像模块组合使用。
废话不多说，上代码，先说开始播放：
代码语言：csharp复制/*
* SmartPlayerAndroidMono.cs
* Author: daniusdk.com
* Created on 2018/05/10.
*/
public void Play()
{
if (is_running)
{
Debug.Log("已经在播放。。");
return;
}
//获取输入框的url
string url = input_url_.text.Trim();
OpenPlayer();
if ( player_handle_ == 0 )
return;
NT_U3D_Set_Game_Object(player_handle_, game_object_);
/* 播放前参数配置可加在此处 */
int is_using_tcp = 0; //TCP/UDP模式设置
NT_U3D_SetRTSPTcpMode(player_handle_, is_using_tcp);
int is_report = 0;
int report_interval = 1;
NT_U3D_SetReportDownloadSpeed(player_handle_, is_report, report_interval); //下载速度回调
NT_U3D_SetBuffer(player_handle_, play_buffer_time_); //设置buffer time
NT_U3D_SetPlayerLowLatencyMode(player_handle_, is_low_latency_ ? 1 : 0); //设置是否启用低延迟模式
NT_U3D_SetMute(player_handle_, is_mute_ ? 1 : 0); //是否启动播放的时候静音
NT_U3D_SetAudioVolume(player_handle_, cur_audio_volume_); //设置播放音量
NT_U3D_SetVideoDecoderMode(player_handle_, is_hw_decode_ ? 1 : 0); //设置H.264软硬解模式
NT_U3D_SetVideoHevcDecoderMode(player_handle_, is_hw_decode_ ? 1 : 0); //设置H.265软硬解模式
int is_output = 1;
int disable_use_image_planes = 0;
bool is_supports_texture_format = SystemInfo.SupportsTextureFormat(TextureFormat.RG16);
Debug.Log("is_supports_texture_format: " is_supports_texture_format);
int is_supported_multiple_format = is_supports_texture_format? 1:0;
int max_images = 3;
int buffer_pool_max_size = 0;
NT_U3D_SetImageReaderOutput(player_handle_, is_output, disable_use_image_planes, is_supported_multiple_format, max_images, buffer_pool_max_size); //硬解码image reader
int is_fast_startup = 1;
NT_U3D_SetFastStartup(player_handle_, is_fast_startup); //设置快速启动模式
int rtsp_timeout = 10;
NT_U3D_SetRTSPTimeout(player_handle_, rtsp_timeout); //设置RTSP超时时间
int is_auto_switch_tcp_udp = 1;
NT_U3D_SetRTSPAutoSwitchTcpUdp(player_handle_, is_auto_switch_tcp_udp); //设置TCP/UDP模式自动切换
int is_audiotrack = 1;
NT_U3D_SetAudioOutputType(player_handle_, is_audiotrack); //设置音频输出模式: if 0: 自动选择; if with 1: audiotrack模式
NT_U3D_SetUrl(player_handle_, videoUrl);
/* -- 播放前参数配置可加在此处 -- */
int flag = NT_U3D_StartPlay(player_handle_);
if (flag == DANIULIVE_RETURN_OK)
{
is_need_get_frame_ = true;
Debug.Log("播放成功");
}
else
{
is_need_get_frame_ = false;
Debug.LogError("播放失败");
}
is_running = true;
}对应的OpenPlayer实现如下：
代码语言：csharp复制private void OpenPlayer()
{
if ( java_obj_cur_activity_ == null )
{
Debug.LogError("getApplicationContext is null");
return;
}
player_handle_ = NT_U3D_Open();
if (player_handle_ != 0)
Debug.Log("open success");
else
Debug.LogError("open fail");
}ClosePlayer实现如下：
代码语言：csharp复制private void ClosePlayer()
{
is_need_get_frame_ = false;
is_need_init_texture_ = false;
int flag = NT_U3D_StopPlay(player_handle_);
if (flag == DANIULIVE_RETURN_OK)
{
Debug.Log("停止成功");
}
else
{
Debug.LogError("停止失败");
}
flag = NT_U3D_Close(player_handle_);
if (flag == DANIULIVE_RETURN_OK)
{
Debug.Log("关闭成功");
}
else
{
Debug.LogError("关闭失败");
}
player_handle_ = 0;
NT_U3D_UnInit();
is_running = false;
video_format_ = VideoFrame.FORMAT_UNKNOWN;
video_width_ = 0;
video_height_ = 0;
}总结
VR头显下播放超高分辨率的RTSP或RTMP，实现低延迟的播放，意义很大，比如平衡操控场景下，可以远程操控挖掘机等危险设备，提高工作效率、改善工作环境、降低安全风险、节约人力成本。在虚拟仿真、无人机操控等场景下也意义重大，感兴趣的开发者，可以单独跟我交流。
