导语 | 我们是业内首个在保证与私有化部署流畅程度相当的使用体验的前提下，成功完成对医疗影像工作站进行“云化”的联合团队。作为联合团队的一员，云渲染团队利用行业领先的实时图像渲染技术、显卡虚拟化技术、实时音视频交互技术，将医疗影像软件"云化"，部署在腾讯云的主机上，医生可以通过给定的接口直接访问医疗影像软件，通过上传或者导入已存储在云端的数据，方便流畅的完成诊断工作。在常见网络环境下，帧率稳定在40fps，满足医疗影响软件预定的帧率目标（35-45fps），端到端时延稳定在50-70ms，达到了私有化部署产品级体验。这为中小医院开展基于影像学的诊疗服务提供了新的可能性。“云化”的医疗影像工作站，将有可能为医疗大数据的云端一体化处理、分析和诊断提供新的解法和赛道。
本期，我们将为大家解答，腾讯云渲染与医疗影像这两个看似完全不搭边的产品是如何碰撞出化学反应的。
借助腾讯云渲染团队提供的实时画面渲染技术，医疗影像工作站成功“上云”，医生可以直接访问部署在云端的医疗影像处理软件，流畅的对影像病例进行分析和诊断。在测试中，本软件的运行帧率基本保持在40fps左右，满足医疗影响软件预定的帧率目标（35-45fps），端到端时延稳定在50-70ms，使用体验与访问私有化部署的工作站相近无差。
各类医疗影像（如CT、MR）检查是现代医疗科学发展中不可缺少的一环。在医疗影像领域中，检查步骤一般分为设备成像，医生阅片诊断等步骤。医疗影像成像主要分为二维（2D）和三维（3D）成像。在医疗影像科技还不够发达的年代，医生往往采取阅读成像的二维切片的方式，这种落后方式能够利用的量化分析手段较少。由于人体内部呈现三维结构，因此三维成像往往能够反映更多信息，随着现代成像技术的不断发展，成像速度和质量的不断提高，医生可以直接浏览3D影像进行阅片和量化分析，比如：
3D volume Render，CTA冠脉分析，NeuroDiffusion，NeuroPerfusion，fMRI等。
根据检查部位和检查项目的需要，医生在阅片过程中往往需要实时调用多种后处理算法处理3D图像，但这类操作往往需要耗费大量的计算和图像显示资源。现有的解决方案一般通过在医院设立私有化部署的医疗影像工作站来解决这一问题，然而私有化部署的医疗影像工作站除了软件的安装以外，往往还需要专门配套部署相关的硬件计算和渲染资源，中小型医院难以负担。
云上的实时影像分析技术，是对“觅影影像云”医疗产品在功能上的良好补充，也是促进全国医疗数据联网、医疗大数据事业发展，解决当前医疗资源分布不平衡、分布面不广问题的重要因素。但由于网络带宽和实时图像渲染技术的限制，导致当前主流的云影像产品，都不具备与私有化部署的工作站相当的使用效率和流畅度。
腾讯AI医疗中心深入研究了阻碍医疗影像工作站“上云”的技术原因，以及目前的技术解决方案，发现关键的技术瓶颈是如何为医生提供实时可交互的高清影像渲染画面，这正好与云渲染团队所要解决的实时高清云渲染问题不谋而合。因此，云渲染团队，AI医疗中心和医疗健康腾讯觅影团队与合作伙伴通力合作，历经数月的探索，成功地奏响一首云渲染&云医疗的“协奏曲”。
云渲染团队利用行业领先的实时图像渲染技术、显卡虚拟化技术、实时音视频交互技术，将医疗影像软件“云化”，部署在腾讯云的主机上，医生可以通过给定的接口直接访问医疗影像软件，通过上传或者导入已存储在云端的数据，方便流畅的完成诊断工作。这项技术突破为中小型医院的医生开展基于影像学的诊疗服务提供了新的可能性。“云化”的医疗影像工作站，将有可能为医疗大数据的云端一体化处理、分析和诊断提供新的解法和赛道。
图5 云化医疗影像工作站系统结构（黄：服务使用，红：服务启动步骤-【建立访问- 根据需求分配实例-上方数据盘挂载通信 -下方数据挂载通信】）
医疗影像工作站的公有化部署是业内一直关注、看好却无法较好落地的“痛点”问题。我们在与多家医疗机构和医生沟通需求的过程中，发现医生普遍对这项服务云化的应用前景表示看好，但同时也表达了对使用体验不好的担忧。其实，该技术的关键瓶颈不在计算资源的远程部署，而在于云端影像的实时渲染和交互效果能否达到与私有化部署产品相当的体验。
腾讯在音视频实时传输技术上有着多年的积累，处于业内领先水平，尤其是云渲染团队从技术的层面上已经拥有了解决这个问题的技术能力。因此，AI医疗中心和医疗健康腾讯觅影团队借助云渲染团队业界领先的技术能力，合奏一部云游&医疗“协奏曲”，打通医疗影像软件“云化”之路的设想。
在数个月的尝试和技术攻坚下，我们成功完成了产品级体验的医疗影像软件在腾讯云上的部署。云化后的产品使用流畅，帧率和时延等多项指标均满足甚至超出预定的目标。数位医疗专家和医生在体验后，都表示软件的流畅程度可以和私有化部署的影像工作站媲美！
图6：云渲染解决方案广泛支持各种场景
1 、需求确认分析
经过和医疗企业合作方沟通，我们确定了采用一款基于Windows系统的CT图形化界面影像软件及其其二维/三维图像展示，图像渲染和缩放，多部位去骨，探针，肋骨提取，组织修改，血管/软组织生长，裁剪，体绘制等功能进行研发和测试，并明确了软件所需的软硬件配置和搭载系统与云上机器适配。同时，在医疗影像软件的使用过程中，经过估算，用户对软件运行帧率的普遍要求是24fps，而云渲染所支持的一些高帧率应用对帧率的要求可以达到45fps甚至接近60fps。因此，从云渲染的能力角度来说，云渲染团队所具备的技术能力完全足够解决医疗影像软件对帧率的要求。
经过分析，预定的帧率目标被设定在35-45fps，端到端时延要求设置在80-100ms。在当前的网络带宽下，我们可以很好的实现这个目标（经过测试，平均为帧率40fps，端到端时延在50-70ms以内）并且能够满足绝大多数用户的日常使用需求。
2 、背景技术
与一般的应用部署相比，医疗影像软件在启动、画面连贯性、操控和显示等方面的特殊标准和要求为部署增加了额外的难度。基于云渲染团队积累的多种能力和经验，如预启动、数据透传通道等，医疗影像软件也实现了快速启动，各类要求如注册表访问、数据库服务启动等再也不是问题。
而且，云渲染团队采用了自研的实时音视频交互技术 Tencent-RTC 和 WebRTC 技术以保证低时延，并针对云渲染场景作了深度优化和定制，大大提升播放加载的速度，实现了网络抗抖动以及网络自适应，保障用户在使用时拥有流畅体验。在提高画质方面，团队采用腾讯明眸极速高清智能动态编码技术，在同样的码率下可实现更高画质，保障用户在使用产品时拥有震撼的视觉体验。在网络保障方面，团队通过自适应编码和弹性帧率，结合专为云渲染定制的 RTC 带宽评估、丢包重传以及智能码控等技术，确保用户在弱网情况下也能得到清晰流畅的产品使用体验。
图7 低延时高画质是这样炼成的！
在底层硬件的调度分配上，云渲染团队为不同性能要求的功能分配不同级别的虚拟化 GPU，确保硬件利用率最大化。针对不同的的机型，团队会对软件内的画质、分辨率、垂直同步等设置作对比测试，以实现一款产品在不同机型上的最佳使用配置。同时，团队还提供应用管理能力，动态云网盘挂载以及清理等能力，有效地解决了云盘脏数据泄露用户隐私信息等问题。
图8 高性价比GPU虚拟化能力
3、功能测试及渲染效果展示
我们对云化后的软件的各项功能都进行了测试，软件的运行帧率和时延完全满足设定的要求。在进行数据的三维浏览和拖拽功能测试的时候，软件的运行帧率基本保持在40fps左右，端到端时延稳定在50-70ms，测试人员给出的一致评价是“顺滑，跟手”。在进行数据的三维渲染和其他后处理操作时，软件的时延和显示效果与访问私有化部署的影响工作站几乎没有差别。下面几个GIF很好地展示了云环境下的影像处理软件的使用体验，操作顺畅，帧率稳定，时延很低。
图9 云环境的影像处理软件演示1：
三维重建结果自动旋转 - 1
图10 云环境的影像处理软件演示2：
三维重建结果自动旋转 - 2
图11 云环境的影像处理软件演示3：
浏览影像和处理结果（缩放、体绘制等）
1 、产品意义
医疗影像软件的成功“上云”，具有极大的社会价值。
通过医疗影像软件 “上云”方案，帮助先进的诊疗和检查手段以较低成本走进中小医院和社区诊所，同时促进中小医院医疗系统和数据入网入云，在确保病人的隐私的前提下提升AI辅诊普及率，这对于我国的医疗资源整合与分发，以及医疗服务数字化和现代化都有极大的价值。借助公司的先进技术能力和资源，为社会医疗事业现代化做出贡献，让互联网发展红利惠及广大人民群众，解决先进医疗走进社区，走进千家万户的问题，是腾讯作为一家头部互联网企业的社会责任，也是腾讯弘扬科技向善，开展可持续社会发展事业的重要初心。
2 、未来展望
下一步，联合团队将把该项技术应用到新一代数字病理云平台开发中。具体地，该项技术有助于全视野数字切片多层多分辨率扫描结果的3D可视化，同时也有助于在全视野数字切片（WSI）上实时渲染生成高清的复杂AI后处理结果，以便用户浏览和调用相关AI算法。
在音视频能力上，团队将进一步提升画面的清晰度和色彩成像能力，以满足医疗专业场景对于灰阶、高分辨率的进一步需求。并在图像传输、数据通道等方面，作出适配性开发，兼容医疗场景的硬/软件。
同时，建设病理云的AI能力，为数字病理云平台提供多种智能算法，包括肿瘤区域检测、肿瘤类型辨别、病情分级、生存期预测、突变预测、预后预测等。进一步地，团队将尝试结合影像云和病理云平台，建设同病人多模态（CT/MR/WSI）一体化诊断能力。
云渲染团队
腾讯云渲染团队融合腾讯云音视频领先的技术能力，配合腾讯云丰富的边缘计算节点和灵活的 GPU 虚拟化技术，为行业提供云渲染、云游戏、云桌面、云应用等解决方案，致力于推动行业数字化升级，打开更广阔的市场。云渲染解决方案能够将各类应用、软件快速部署上云，让用户使用各类终端均可获得极致体验，目前已在游戏、医疗健康、建筑城市、文旅、工业等各类场景有成功落地经验。
AI医疗中心
腾讯AI Lab医疗中心是公司级医疗AI团队，重点推动前沿研究与技术快速落地。团队由50多位来自全球顶级医疗机构的研究科学家与应用工程师组成，技术覆盖机器学习、强化学习、计算机视觉到自然语言处理等全方位AI能力。
团队已有多篇论文入选 MICCAI、RSNA，CVPR，AAAI等顶级学术会议，并参与及主导多项应用落地，包括支持腾讯的国家级影像产品「腾讯觅影」与辅诊导诊产品医疗科普平台「腾讯医典」，合作研发中国首款获批进入临床应用的智能显微镜等。在产业方面，团队与安必平、迈瑞等厂家进行了深入合作，推进病理AI在临床场景落地应用。
腾讯觅影团队
负责腾讯觅影产品和医学影像国家新一代人工智能创新平台的建设。腾讯觅影是腾讯公司首款将人工智能技术运用在医学领域的AI产品，聚合了腾讯公司内部包括天衍实验室、AI医疗中心等多个顶尖人工智能团队的能力，把图像识别、大数据处理、深度学习等领先的技术与医学跨界融合研发医生的AI助手。利用AI技术，结合腾讯云的能力，通过影像云等产品解决方案，提供医疗AI服务、云服务、连接服务。
点击下方【阅读全文】，了解更多解决方案详情！
