如何看懂MITRE安全评测报告

4月20号，MITRE（著名的MITRE ATT&CK安全知识框架背后的企业，现为MITER Engenuity，这是一个与私营部门合作开展许多举措，特别是网络安全的技术基金会）发布了2020 Carbanak Fin7评估的结果。

本次评估测试使用APT组织 Carbanak Group / Fin7 的攻击技术作为蓝本，用以评估各大安全公司的产品是否能够通过遥测和检测技术覆盖整个完整攻击链上的各个步骤，给企业提供充分必要的信息以及早发现威胁，采取响应。

具体的评测结果可以登录MITRE的评测网站查看报告，同时，我们以Kibana Dashboard的形式进行了归纳和总结：

在这里插入图片描述

相信这样一个专业的评测，对于非安全专业的同学来说还是比较难以解读。在本文，我们希望通过一个“说人话”的方式，能够帮助大家快速理解这个评测的结果以及其背后的意义。

什么是MITRE ATT&CK Evaluation

首先，MITRE是一个非盈利的公司，它管理美国联邦政府资助的安全研发中心。大名鼎鼎的CVE(漏洞数据库)就是MITRE维护的。

ATT&CK是一个攻击者策略知识库，作为一个知识库全面的总结了相关领域的攻击手法以及例子，在库中，它以TTP及其中的三要素，战术Tactics、技术Techniques和过程Procedures，来描述高级持续性威胁（APT）组织及其攻击的重要指标

Evaluation是MITRE定期组织的评测活动，旨在评估安全产品对于特定APT技术的检测能力。从2018年至今以展开过三轮评测，而Elastic作为特邀安全厂商参与了全部三次评测：

在这里插入图片描述

这里需要注意的是，MITRE Engenuity 的评测报告不会分配分数，排名或等级。评估结果可供公众使用，因此其他组织可以根据自己的分析和解释来定位各大安全厂商的安全产品的能力，但MITER Engenuity不背书或验证这些结果。

最新评测及Carbanak/Fin7简介

最近的这次评测开始于2020年10月，历时近半年完成对以下29个安全厂商EDR产品的评测：

在这里插入图片描述

使用的是Carbanak/Fin7这个组织的攻击技术。

Carbanak Group / Fin7于2014年首次被发现，是世界上最著名的APT组之一，并且是最早曝光的APT组之一。该组织被认为在全球范围内造成超过9亿美元的损失。

FIN7组织的攻击目标是金融机构（尤其美国金融公司），以钓鱼邮件为主要攻击渠道。常见攻击手法包括：

• 使用精密的鱼叉式网络钓鱼邮箱，来说服目标对象下载附件，然后透过附件让其公司网络遭到恶意软件的感染
• 擅长使用非PE文件进行攻击，在攻击过程中很少有PE文件落地
• 主要的攻击载荷都是基于js脚本和powershell脚本进行，这在一定程度上躲避安全软件的查杀
• 在FIN7所使用的恶意软件中，最常见的是Carbanak恶意软件的特制版本，已在对银行的多次攻击中使用过

在本次测试中，整个Carbanak/Fin7的攻击被分成了20个大步骤，174个子步骤，采用了46种大类的技术，又包含了32中子技术：

在这里插入图片描述

各大安全产品通过自己的遥测技术和对其他数据源的整合，从24种数据的6992个指标中进行威胁的捕获和分析：

在这里插入图片描述

在这里插入图片描述

评测解读

MITER评估本质上是一项产品评估，其重点是在受控环境中测量EDR的检测（Detection）能力，主要评估标准为遥测（Telemetry）和检测。MITRE的渗透团队使用完整的Carbanak Group / Fin7攻击技术，从最初感染开始到入侵与控制，包含多个测试用例，厂商则在环境中通过部署安全产品来进行检测。输出是每个测试用例（Step）和结果的列表，比如：

在这里插入图片描述

主要侧重于检测的特异性（以何种方式检测到可疑行为，以及如何归类，提供Technique、Tatics等上下文信息）和时效性上。采用这样的简化方法有助于将诸如检测之类的复杂问题空间分解为更易于管理的东西。

对于此次评估，我们可以从Dashbaord归纳出以下信息：

对所有攻击步骤的检测覆盖率

在这里插入图片描述

完整的攻击链涉及到174个子步骤，网络安全初创公司SentinelOne拔得头筹，获得了100%的覆盖率。Elastic检测到了其中的140个步骤，注意，100%覆盖率的重要性可能不像你想象的那么重要，如何在攻击的早期阶段及早发现，定位，辨识出攻击链及其进展状态，进而实施响应来消除威胁，阻断攻击是更重要的安全指标。

对于威胁的检测类型

在这里插入图片描述

检测类型分为两个大类：

• Telemetry (遥测)
• Detection （规则引擎的检测）

遥测是指EDR厂商通过安装代理的方式，EDR agent在收集遥测数据时，就能实时的检测到对应的威胁行为，然后上报分析平台，这代表可以在预制响应策略的前提下能就地进行响应/威胁隔离的能力。

在这里插入图片描述

Detection是指通过遥测数据上报之后，安全分析平台通过检测引擎进行威胁检测的能力，这时，厂商能够给威胁提供更多的上下文，比如将其分类到ATT&CK矩阵的tactic、technique当中，方便安全分析人员获得更多而IOC和IOA信息：

在这里插入图片描述

注意，在同一步骤中，遥测和检测都可能同时检测到了威胁，因此在评测中会被记录多次

在这里插入图片描述

也就是检测的总数，大于步骤数的原因：在这里插入图片描述

而后三项，分别代表了分析引擎 (检测引擎) 能够根据遥测数据检测并且丰富IOC的能力，EDR Agent就地实时发现威胁的能力，以及整个EDR工具整体的发现威胁能力

在这里插入图片描述

我们可以通过更详细的过滤和分类图表，来比较厂商的工具在针对特定技术项、攻击技术上（Tactics、Techniques）的检测能力，各位读者可以按需对比查询。

评测的限制

需要注意的是评测是在受控环境中进行的，通过在无噪声的环境中进行测试，供应商声称可以“检测”到的测试用例在现实世界中可能被噪声掩盖。MITER清楚地指出这是一个限制，但在查看结果时并不是很明显。

除了产品本身以外，测试中也缺少诸如驱动工具和流程/工作流程的人员之类的关键领域，通常情况下，对于SOC要素的整合和闭环流程比工具本身更重要。因此，我们在读这个评测的时候，可以以MITER评测为起点，但仍要了解其局限性，在构建安全解决方案的时候，仍要搞清楚很多问题，例如：

• 真实世界中的误报率是多少？
• 您能否展示出限制噪音或帮助提请人们注意与合法活动紧密匹配的特定活动的功能？
• 您能证明现实世界中的端到端调查吗？从基于威胁捕获的检测到调查，再到时间安排和响应？
• 您可以发出响应任务以便从机器中检索取证数据吗？
• 您可以遏制网络中的攻击者并与之作战吗？
• 我的检测小组在技术上是否有能力驱动该工具并且可以24/7/365使用？
• 您可以从托管服务中受益吗？如果可以，它们可以证明它们能够检测高级攻击吗？

您需要知道关于Elastic Security的信息

Elastic Security参加了所有三次的MITRE评测，在数次评测中均表现出色，特别是在遥测方面。

在之前的两次评测中，MITRE主要是测试了Elastic收购的EDR公司Endgame的产品。而在本次测试中，则已经完全使用Elastic Security的Elastic Agent，并且仅使用我们的免费和开放功能，Elastic Security即可在攻击的每个主要步骤中提供关键的可见性。

要知道的是，我们在2020年8月时，才在7.9.0版本的时候发布了Elastic Agent的Beta版本，我们及时赶上了这次测试。而我们的安全解决方案将端点技术集成到整个安全平台中的历时还不到一年，取得这样的成绩是值得肯定的。

总结一下，在历次的评测中，Elastic Security在遥测方面表现优异，而在检测方面在29家厂商之间处于中游水平。

而在7.9.0之后，我们在测试期间（2020年10月~2021年4月）吸取的许多经验教训已在今天的产品中更新，我们在Elastic Security解决方案上增加了更多的功能：

• 新的端点安全数据源集成（其中许多经过了评估），包括Crowdstrike，Symantec，Sophos，Microsoft，Cisco，Cylance等。
• 开箱即用的规则。每次发布时，我们都会在公共规则存储库中提供更多的预构建检测逻辑，并且自7.9以来（现在总计540 ）增加了300多个规则。许多工具与ATT＆CK框架保持一致，MITRE在其网络分析存储库（CAR）中已引用了该框架。但也要记住，许多规则适用于其他非基于ATT＆CK的用例，例如传统的SecOps。
• 机器学习。我们还通过发布有监督的学习模型来强调我们的机器学习功能，以支持我们现有的无监督功能，尤其是这种DGA检测技术。
• 通过事件查询语言（EQL）提供关联分析能力。您现在可以使用EQL搜索和创建规则。您可能还记得以前的评估，这项技术对于我们的高保真度检测至关重要，因为我们能够通过使用顺序检测逻辑来关联不同事件。
• Elastic Agent。曾经体验过使用多种产品的痛苦吗？安装？更新？我们也这样做。因此，现在使用Elastic Agent，添加新数据类型就像单击按钮一样容易。例如，您可以单击选择Endpoint Security Integration，即可开通多个数据源的摄入。
• 勒索软件行为预防和主引导记录（MBR）保护。

Elastic Security已经与行业中的顶级玩家相距不远，并且在迎头赶上。对于正在评估安全解决方案的企业，完全可以从现在开始，就使用Elastic Security的免费版本开始安全探索之旅，也可通过30天的免费试用，更加深入的了解更多商用特性在安全领域的应用。