设计理念
工欲善其事，必先利其器。系统的解决大数据安全，必须建设一套符合大数据平台自身特点的事后安全审计体系，以统筹解决安全威胁，并进行系统性的安全威胁消除。通过借鉴国内外大数据平台安全体系建设经验，参考业界前沿的安全技术手段和经验，我们提出了数据安全审计层进建设体系。该体系以组织架构为基础，通过组织架构的信息需求，建立大数据安全审计框架。该安全审计框架自底向上依次建设“内容计算层、要点审计层、目标分析层”，并在建设过程中引入AI技术，构建基于AI技术的数据安全审计平台。
引入AI 聚类算法结果复合技术
引入聚类算法并进行结果复合，对数据源进行清洗修正，提升了数据源的精确度。通过利用两种算法的特性,所取到的结果数据有一定的差异,在K-Means贴合行为分类的基础上,DBSCAN的噪点数据更加符合风险用户特性,因此采用两者结果集,使用取二者交集的方法获得复合需要的结果数据。基于聚类算法与故障树算法相结合，依据ISO／IEC 27002 标准的层次结构建立故障树，过程如下。
AI 聚类算法数据初筛复合技术0x01 运用聚类算法DBSCAN对关键风险进行独立初筛
- 步骤一：DBSCAN通过检查数据集中每点的Eps邻域来搜索簇，如果点p的Eps邻域包含的点多于MinPts个，则创建一个以p为核心对象的类。
- 步骤二：DBSCAN迭代地聚集从这些核心对象直接密度可达的对象，这个过程可能涉及一些密度可达类的合并；
- 步骤三：当没有新的点添加到任何类时，该过程结束，且没有包含在任何类中的数据点就构成噪音点。
0x02 运用聚类算法K-means对结果进行独立初筛
- 步骤一：确定K值以及初始化聚类中心，选择K个初始凝聚点，作为欲形成的类中心；
- 步骤二： 计算每一个观测到K个凝聚点的距离，将每个观测和最近的凝聚点分到一组，形成K个初始分类；
- 步骤三：计算每一个观测到K个凝聚点的距离，将每个观测和最近的凝聚点分到一组，形成K个初始分类；
将上述两次独立初筛结果叠加，通过二次复合算法得到需要的结果集。
0x03 运用故障树和信息熵算法评价总体风险
确定故障树的底事件，即故障树底层各因素的选择，参考ISO／IEC 27002标准中的控制措施选取，并且各底事件之间不存在交叉，满足故障树分析法的要求。 故障树建立后，通过信息熵风险分析算法计算目标系统的总体风险。
故障分析分层图运用AI行为探测引擎，实现行为审计与人工智能的紧密结合
运用人工智能（AI）技术，通过事件扫描，动态推理、启发分析，构建行为探测引擎。实现了行为审计与人工智能技术的结合。AI探测引擎工作流程包括：模型设计流程、ETL作业流程、数据质量监控流程。AI探测引擎保障机制包括：时间窗设计、ETL调度流程。
基于AI的大数据安全审计流程0x01 AI行为探测引擎工作流程
探测引擎先对审计事件进行综合扫描，形成特征审计事件，而后运用动态推理机对特征事件进行综合解析，接着由启发式分析机对解析结果做出判断，预测用户接下来的行为，并在交互式页面进行提示。
0x02 AI行为探测引擎保障流程
为保障探测引擎的精准运行，设计了模型设计、ETL作业及调度、数据质量把控、时间窗等关键保障流程，通过对数据运行、模型运行、质量保障、运行调度进行统一监控与统一调度，实现了探测引擎的安全稳定持续可靠运行。
