作者简介
谭晓生，腾讯云 TVP，北京赛博英杰科技有限公司创始人、董事长，高级工程师，正奇学苑网络安全创业营创始人，前 360 集团技术总裁、首席安全官，2020 年获工业和信息化部网络安全产业发展中心首批网络安全创新创业导师称号，2018 年获中国互联网发展基金会网络安全优秀人才称号，中国计算机学会 (CCF) 理事、CCF YOCSEF 秘书长，2012 年获中关村高端领军人才称号，教育部安全科学与工程类专业教指委委员。
引言
其实长久以来，一直有以下三大问题困扰着网络安全人员：
● 攻防速度不对等：攻击者突破防线、偷走数据的速度远远快于防守方发现攻击、阻断攻击的速度，防守方的响应速度不够快。
● 现有网络安全防御方法的效率性价比不够高：现有的防御方式下，需要大量的安全工程师，中国、美国所公布的网络安全防御人才缺口都是几百万人，暂且不说培养出这么多网络安全从业者相当困难，雇佣这些人的成本也会是企业难以承受之重。
●检出率不够高与误报率太高：基于规则的引擎对新兴攻击的检出率不够高，规则引擎与已有AI引擎的误报率都太高。
自 2022 年底开始，以 LLM （大语言模型，简称大模型）为核心的 AIGC （生成式人工智能）带来了一场人工智能驱动的技术与产业革命，人工智能被广泛认为是可以改变“游戏规则”的战略性科技，国内开启了“百模大战”。大模型也被寄予厚望，用以解决多年来困扰网络安全行业的问题。
美国以微软为代表的企业早在大模型爆发之初，就开始将大模型用于构建网络安全产品和服务，微软 2023 年 3 月 28 日即推出 Microsoft Security Copilot、Google Cloud、Palo Alto Networks、CrowdStrike、Fortinet、Cisco、Sentinel One、CheckPoint 等公司也陆续推出了采用大模型技术的网络安全产品或服务。国内深信服、奇安信、360、安恒信息、绿盟、天融信、永信至诚、金睛云华等安全公司也纷纷宣布自己已经推出，或即将推出基于大模型的网络安全产品，腾讯等大型互联网公司也都在搞大模型在安全领域的应用实践。在 2023 年年底，我们已经可以看到一些大模型赋能的网络安全产品的成功应用。
一、回首过去：
传统AI在网络安全领域的应用
众所周知，人工智能在网络安全领域的应用已经存在了很长时间。传统的AI技术在网络安全中的应用主要有：
（一）专家系统
专家系统在网络安全领域的应用历史可以追溯到上世纪 80 年代末期至 90 年代。专家系统是一种利用人类专家知识解决复杂问题的人工智能系统。在网络安全领域，专家系统被设计用来模拟安全专家的知识和决策过程，以便自动化地识别、防御和应对各种网络威胁和漏洞。在早期，网络安全的专家系统主要集中在入侵检测系统 （IDS） 和病毒防护上。
（二）机器学习与深度学习
1、 以支持向量机 （SVM） 为代表的机器学习算法
支持向量机是一种监督学习的方法，用于分类和回归分析。在网络安全领域，SVM 可以用于恶意软件检测、网络入侵检测等场景，通过学习区分正常的数据和异常的数据。
360 公司的 QVM（Qihoo Vector Machine） 引擎作为全球第一款基于机器学习（SVM）技术的恶意软件检测引擎，2010 年 7 月投入实际使用，是 360 安全卫士的主引擎。未知恶意软件检出率>99%，误报率<0.01%，在部分指标上取得了远超传统特征引擎的效果。
其它在网络安全领域得到应用的机器学习算法还包括：决策树、遗传算法、模糊逻辑、贝叶斯网络等。
2、深度学习算法
深度学习算法在网络安全领域中也得到了多种应用，主要在：
● 恶意软件检测与分类
通过使用深度学习模型，如卷积神经网络 (CNN) 和循环神经网络 (RNN)，可以有效识别和分类各种恶意软件。这些模型可以从文件或程序的原始二进制数据中学习特征，以识别潜在的恶意行为。
● 入侵检测系统
深度学习模型能够分析网络流量数据，以检测异常行为或入侵企图。通过学习正常网络行为的模式，它们可以识别出偏离这些模式的潜在攻击，包括零日攻击和先进的持续威胁 (APT)。
● 钓鱼网站识别
深度学习被用于自动识别钓鱼网站，通过分析网站的 URL、网页内容和其他元数据，深度学习模型可以检测出伪装成合法网站以窃取用户信息的钓鱼网站。
● 域名生成算法 (DGA) 检测
网络犯罪者使用 DGA 来生成大量域名，以用于命令与控制服务器的通信。深度学习模型可以识别这些算法生成的域名的模式，帮助拦截与恶意软件的通信。
● 基于行为的欺诈检测
在金融和电子商务领域，深度学习用于分析用户行为和交易模式，以检测和预防欺诈行为。这些模型能够识别出异常的购买模式和登录行为，从而防止欺诈发生。
3、知识图谱在网络安全领域的应用
知识图谱作为一种组织和利用知识的技术，其在网络安全领域的应用已经受到重视。具体的应用情况主要体现在以下几个方面：
● 威胁情报分析
知识图谱能够整合来自不同源的威胁情报数据，如漏洞库、黑客工具、攻击行为等，通过构建实体及其关系，使安全分析师能够更有效地理解和分析威胁，从而更快发现潜在安全威胁和攻击手法。
● 攻击检测和响应
利用知识图谱，可以构建网络攻击的模式和行为特征图谱，通过实时分析和匹配，提高异常行为和潜在攻击的检测速度和准确性。此外，通过知识图谱的推理机制，可以实现对攻击行为的预测和提前响应。
● 安全态势感知
知识图谱可以整合和关联网络设备、应用、用户等多源安全数据，建立全面的网络安全态势图谱。通过对图谱的分析，帮助企业从宏观角度理解和评估其网络安全状况，发现系统薄弱环节，为制定安全策略提供决策支持。
● 漏洞管理
通过构建涵盖漏洞信息、受影响产品、修复策略等信息的知识图谱，可以帮助安全团队有效管理漏洞信息，快速响应和处置已知漏洞，减少潜在风险。
● 安全知识的教育与培训
知识图谱在整合和组织大量安全知识方面具有明显优势。利用知识图谱提供的结构化安全知识，可以为安全教育和培训提供丰富、直观的学习资源，提高教育和培训效率。
总体而言，知识图谱的应用提高了网络安全领域的数据分析效率和决策质量，为安全防护提供了更加科学、系统的支持。随着人工智能和大数据技术的不断发展，知识图谱在网络安全领域的应用将会越来越广泛和深入。
二、摆脱过往：前大模型时代的AI
用于网络安全领域的五大问题
（一）误报率
检出率与误报率是网络安全产品最重要的两个指标，而用户对误报率的容忍度比检出率更差，原因在于高误报率，会造成以下几种严重后果：
● 工作效率影响：高误报率意味着大量正常活动被错误地标记为恶意，这将导致安全团队花费大量时间和资源去调查并处理这些非威胁事件。这不仅分散了安全团队对真正威胁的关注，而且降低了工作效率。
● 系统性能影响：如果安全系统频繁地因误报而触发警报，可能会对网络或系统的性能造成影响。例如，对合法软件的误报可能导致该软件被限制或阻止运行，这会干扰正常工作流程，影响用户体验和生产力。
● 用户对安全检测系统信任度下降：频繁的误报会导致用户对安全检测系统的信任度降低。当用户习惯于看到大量的误报时，他们可能会开始忽略所有的安全警告，包括真正的威胁，这种现象被称为“警报疲劳”。
● 业务影响：在某些情况下，误报可能直接影响到业务运作。例如，如果一个安全检测引擎错误地将企业的关键业务软件标记为恶意并进行隔离或删除，这可能导致业务流程中断，造成经济损失。
因此，为了最大限度地提高网络安全防护体系的有效性和效率，同时最小化对业务运行的负面影响，对网络安全检测引擎的误报率提出严格要求是十分必要的。
（二）数据质量和可用性
网络安全数据往往包含大量的噪声和不相关信息。而且，获取高质量、标注良好的训练数据往往非常困难和昂贵。比如使用机器学习技术训练的恶意代码检测引擎，需要的训练样本是数百万级别，并且要持续更新训练数据，以对抗最新型的攻击手法。
而对于特定类型的攻击（例如 APT 攻击）事件中，攻击样本相对于正常行为样本通常是非常稀少的，则很难选取到足够数量的训练样本。这种极度不平衡的数据分布给机器学习模型的训练带来了挑战，因为模型很容易偏向多数类（即正常行为），而忽视少数类（即攻击行为）。
（三）模型泛化能力
网络攻击的模式和策略在不断进化，这意味着即使是经过训练的模型也可能很快过时。模型需要不断更新以适应新的威胁模式，但这在实践中很难做到，导致模型的泛化能力受到限制。
（四）可解释性问题
尽管传统的机器学习方法能够在某些场景下有效检测到网络威胁，但这些模型通常被视为“黑箱”，难以理解其内部决策过程和逻辑。这在网络安全领域尤其成问题，因为安全分析师不仅需要知道一个行为是否恶意，还需要理解为什么是恶意的以便进行适当的响应。
（五） 实时性能
网络安全系统需要实时或接近实时地监测和响应威胁。这对于许多传统 AI 模型来说是个挑战，因为它们可能需要显著的计算资源来处理大量数据，并且在检测到威胁时可能存在延迟。
三、未来已来：
AI大模型驱动网络安全
毋庸置疑，大语言模型（例如 GPT-3.5、GPT-4、BERT、LlaMa2/LlaMa3、MISTRAL、文心一言、通义千问等）在人工智能领域的发展中起到了革命性的作用，它们对人工智能技术的进步产生了深远影响。这些模型通过在大规模数据集上进行训练，能够理解、生成、翻译文本，甚至进行一定程度的推理。
在我看来，大语言模型的发展为人工智能技术的进步提供了新的动力，同时也对行业参与者提出了新的挑战和责任，推动了技术、伦理和社会问题的深入探讨与解决。它们对人工智能技术的影响主要体现在以下几个方面：
（一）大模型带来了一些新可能性
1、自然语言处理能力的提升
大语言模型极大地提高了机器对人类语言的理解能力。之前，机器理解文本主要依赖于关键词或简单的语法规则，容易受限于语境的复杂性。大语言模型利用深度学习技术，能够理解语言的细微差别和语境，这对于复杂的自然语言处理任务（如情感分析、文本摘要、对话系统等）有重大意义。
2、推理和逻辑
它们能够展示一定程度的推理能力，如因果关系推理、常识推理和解析较复杂的问题。例如，LLM 可以基于给定的信息进行分析，预测可能的结果或解释事件之间的关系。
● 上下文理解：LLM 能够根据上下文信息作出反应，理解对话历史中的细节，并据此调整其回应。
● 跨领域知识：这些模型通常接受广泛的训练数据，能够处理多种类型的问题和任务，跨越不同的知识领域。
3、多种AI任务性能的提升
不止限于自然语言处理，大语言模型还能在跨语言翻译、文本生成、知识问答等多种任务上展现出优异的性能。它们通过大规模的预训练，掌握了丰富的世界知识和通用逻辑，这使得它们能够在没有特定域知识的情况下，也能生成可靠和自然的回答。
降低了人工智能应用的开发门槛：大语言模型的出现使得不具备深厚技术背景的开发者也能够轻松创建出高质量的人工智能应用。通过 API 调用或者轻微调整预训练模型，即可应用在各种场景中，极大地节省了从零开始训练模型的时间和资源成本。
（二）大模型赋能网络安全运营
AI 大模型在网络安全运营中的产业实践，尤其是在告警降噪、攻击研判、自动响应与处置方面，展现出了显著的优势和潜力，具体表现在以下几个方面：
● 告警降噪
智能告警过滤与分类：传统的安全运营中心常常面临大量告警信息，其中许多是误报或低优先级事件。AI 大模型通过学习历史数据，能有效识别并过滤掉这些无关紧要的告警，仅将真正需要关注的高风险事件呈现给安全分析师，极大地减少了噪音，提高了响应的针对性。
上下文关联分析：大模型能够分析告警之间的关联性，结合时间序列、用户行为、网络流量等多种因素，为告警提供更丰富的上下文信息，有助于快速判断告警的真实性和严重程度。
● 攻击研判
复杂攻击模式识别：AI 大模型能够识别出隐藏在大量数据中的复杂攻击模式，包括零日攻击、高级持续性威胁 (APT) 等难以用传统规则发现的威胁，提高了攻击研判的准确性。
自动化威胁狩猎：大模型驱动的威胁狩猎能力，可以在大规模数据中自动搜索潜在的恶意活动迹象，无需预设规则，而是通过模式识别自动发现异常，加速了威胁的发现过程。
● 自动响应与处置
自动化剧本执行：基于 AI 决策，大模型可以触发预设的安全响应剧本，自动执行隔离受感染设备、关闭特定端口、发送警告邮件等一系列响应措施，快速遏制安全事件的发展。
自适应安全策略调整：根据实时分析结果，大模型能够动态调整安全控制策略，比如加强特定区域的监测力度或临时限制某些高风险服务，实现更灵活的防御布局。
交互式辅助决策：在某些情况下，大模型还可以为安全团队提供决策支持，通过生成详细的事件分析报告，提出可能的处置建议，协助分析师做出更为精确的判断。
这些实践证明，AI 大模型已成为网络安全运营中不可或缺的工具，通过提升告警处理的效率、增强攻击识别的精确度以及实现响应措施的自动化，显著增强了企业的网络安全防御能力。
（三）大模型赋能数据安全
AI 大模型在数据安全方面的应用日益重要，尤其是在数据分类分级和数据脱敏这两个关键环节，它们有助于提高数据管理和保护的效率与精确度：
1、数据分类分级
自动化分类与标签：AI 大模型可以结合数据字典、建表语句的注释、库表的样例数据学习和理解库表中不同数据的上下文和内容，自动对数据进行分类和分级。这基于模型对数据敏感性和重要性的识别能力，例如，它可以根据预设规则或自我学习的模式识别出个人信息、财务记录或健康数据等敏感类别，然后按照数据分类分级标准和规则相应地打上不同的安全标签。这样可以确保高敏感度数据得到更严格的安全控制和管理。
2、数据脱敏
虽然已经有各种各样的静态、动态脱敏产品，但数据脱敏一直是一个解决的不够好的问题，AI 大模型在基于对数据内容的理解上，有可能可以做更好的数据脱敏。
智能脱敏策略：AI 大模型能够根据数据的分类和分级结果，智能选择最合适的脱敏方法。例如，对于高度敏感数据，模型可能会选择强脱敏策略，如完全替换或随机化；而对于较低敏感度的数据，则可能采用弱脱敏，如部分遮盖或偏移。这种精细化的策略能够平衡数据保护与业务需求。
动态脱敏：AI 技术支持在数据使用过程中实施动态脱敏，即根据用户角色、访问环境和使用场景的不同，自动调整数据的显示方式。例如，对于内部审计人员可能展示更多细节，而对于外部合作伙伴则提供高度脱敏的数据视图，以此来最小化数据泄露的风险。
3、风险评估与策略制定
基于 AI 的分析可以帮助组织动态评估数据的风险等级，依据数据类型、来源、使用频率等因素，自动调整安全策略。例如，AI 模型可以预测特定数据泄露的潜在影响，据此调整访问权限或加密级别，以减轻潜在威胁。
4、自动化检测与优化
AI 还能持续监控数据处理过程，自动检测数据脱敏的效果和潜在的漏洞，根据反馈优化脱敏算法和策略，确保数据保护措施的有效性和适应性。
通过这些应用，AI 大模型不仅加强了数据安全防护的智能化水平，还提高了数据处理的效率，使得企业在利用大数据的同时，能够更好地保护个人隐私和商业敏感信息。
（四）大模型赋能垃圾邮件和钓鱼攻击过滤
此外，AI 可以用来分析电子邮件的内容、结构和发送模式，以识别和过滤垃圾邮件和钓鱼邮件。这有助于减少企业和个人受到的欺诈性信息攻击。
（五）大模型驱动的网络攻击
值得一提的是，学术界和工业界在人工智能大模型 （Large Models） 辅助的网络攻击上已经取得了一些显著的进展。这些研究主要集中在如何利用大模型，如生成对抗网络 (GANs)、变换模型 （Transformer models） 等技术，以提高网络攻击的自动化程度、隐蔽性和效率。以下是几个研究领域的具体进展：
自动化攻击生成：通过训练模型理解和生成攻击代码的能力，研究者们已经能够自动生成针对特定系统或软件的攻击代码。例如，使用变换模型等自然语言处理技术，可以对已知的攻击策略和漏洞信息进行学习，进而生成专门针对新发现的漏洞的攻击代码。
钓鱼邮件与社交工程攻击: 利用人工智能对大量数据的处理能力，攻击者可生成更加精准和难以区分的钓鱼邮件或社交工程攻击信息。例如，通过分析受害者的社交媒体行为，机器学习模型可以创建定制化的消息，显著增加欺骗成功率。
渗透测试的自动化：通过 AI 技术，可以自动化某些渗透测试过程，识别系统的弱点和漏洞。AI 模型可以被训练用以模拟攻击者行为和策略，更高效地发现并利用系统漏洞。
逃避检测：通过使用机器学习模型，攻击者可以设计出能够绕过现有安全检测系统的恶意软件。例如，生成对抗网络 (GANs) 可以用来生成能够逃避恶意软件检测的变种。
对抗机器学习模型：针对特定的机器学习模型进行攻击，以破坏模型的正常工作或欺骗模型做出错误决策。这类研究不直接攻击网络系统，而是攻击系统内部用于安全防御的 AI 模型，例如通过对抗性样本来欺骗图像识别系统。
（六）大模型赋能的风险识别
人工智能大模型（如 GPT-3、BERT、OpenAI Codex 等）在风险识别方面的应用前景非常广阔，它们能通过多种能力提供帮助：
数据分析与理解：AI 大模型可以处理和分析大量数据，并从中抽取有用信息，有助于识别潜在的风险点。比如在金融市场分析、网络安全威胁监测、保险欺诈检测等领域。
模式识别： 这些模型通过深度学习技术，能够识别数据中的复杂模式和趋势，包括异常检测，这在预测金融市场的风险、监测网络异常行为等方面尤为重要。
自然语言处理（NLP）：AI 大模型在自然语言处理方面表现突出，能够理解和分析人类的语言。这意味着它们可以从新闻报道、社交媒体帖子、专业报告等中识别潜在的风险信息和信号。
动态学习与适应： 这些模型能够从新的数据中学习，不断调整其分析和预测。这对于面对不断变化的风险环境（如网络安全威胁不断演变）尤其重要。
决策支持：AI 大模型还可用于提供基于数据的决策支持，通过高质量的风险分析报告，辅助专业人士和决策者做出更明智的选择。
预测建模： 利用历史数据，AI 大模型可以构建预测模型，预测特定事件的风险级别。
总之，在风险识别领域，AI 大模型利用其强大的数据处理能力、模式识别和自然语言处理等技术，能够帮助相关领域高效、准确地识别和评估各种风险，为决策提供科学依据。随着技术的不断进步和模型的不断优化，它们在风险管理方面的应用将更加广泛和深入。
（七）鉴伪与认知安全
AIGC 的迅速崛起，尤其是文生图、文生视频的迅速产业化，使得图片、视频鉴伪、认知安全问题成为各个国家都非常关注的热点问题。
认知安全问题主要指的是通过各种信息传播渠道，尤其是网络和社交媒体，施加的旨在误导、操纵或影响人们认知、决策和行为的安全威胁。这种问题通常与信息作战、虚假信息（假新闻）、心理操纵、欺骗和误导策略等相关，其目的可能包括政治操纵、经济利益、社会混乱或破坏信任等。
而认知安全问题的表现形式可能非常多样，包括但不限于：
● 虚假信息和假新闻：发布不真实的信息试图误导公众观点或者掩盖真相。
● 社交媒体操纵：通过伪装成大量正常用户的机器人账号或者雇佣“水军”在社交媒体上散布特定的意见或信息，影响人们的看法。
● 心理操作：利用心理学原理（如恐惧、偏见、归属感等）通过设计的信息策略影响人们的情感和决策。
● 网络钓鱼和诈骗：使用制造的信息或场景误导用户，窃取个人信息或金钱。
● 宣传和虚假旗帜行动：通过各种媒介散布特定政府或组织的政策、观点，有时候也包括伪造事件制造虚假印象的行动。
在我看来，认知安全问题的解决方案复杂多样，包括提高公众的信息识别和批判性思维能力、加强信息源的审核机制、发展和应用技术手段检测及阻止虚假信息的传播等。此外，政府和社会组织的合作，以及国际间的协调和合作也是对抗认知安全威胁的重要方面。
（八）安全策略管理（Security Policy Management）
随着网络环境的不断变化，AI 可以帮助人们进行自动更新和维护安全，确保策略的及时性和适应性，减轻人工维护工作量，Cisco、Check Point 都已将大模型用于其防火墙规则的维护。
四、中外对比：
网络安全大模型的差异化选择
从用户的角度看，我国用户与西方用户对产品形态上要求差别很大，以美国为代表的西方世界市场普遍接受以 SaaS 服务为主要形态的服务，中国的客户则更愿意接受本地部署。
● 用户的主要诉求是通过提升自动化水平提升运营效率：缩短 MTTD、MTTR，希望能从天级，缩短到分钟级；
● 希望安全大模型结合威胁情报进行安全事件调查分析、取证；用户希望通过安全大模型解决安全人才不足及技能短板问题；
● 用户希望通过安全大模型提升现有安全运营人员水平；
● 用户希望通过安全大模型能帮助总结安全事件；
安全公司已经认识到大模型是网络安全产业的颠覆性技术，会对网络安全的产品格局及产业格局造成重塑。
在 AI 赋能网络安全概念下，各家所采用的 AI 技术五花八门，既有最新的 AIGC 大预言模型，也有深度学习技术甚至是机器学习技术，或者是多种技术的混用。主赛道是安全运营辅助、数据安全、威胁检测，电子邮件安全、开发安全、渗透测试、安全培训相对冷门，但也有公司涉及。
产品有安全智能体与聊天机器人两种主要形态，目前聊天机器人是主要产品形态。
人工智能大模型技术会带来网络安全产品品类的大的变化，一些传统安全产品可能面临失去存在价值的情况，而另一些网络安全产品则会借人工智能大模型在很大程度上提升自己的能力。
国内各厂商所采用的生成式 AI 技术，基本都是在商用或开源的基座大模型的基础上做预训练与精调。只有极个别厂商声称未来会考虑从头训练自己的安全大模型。
生成式 AI 与传统深度学习、机器学习技术相比，在威胁检测、加密流量分析上，检出率没有什么优势，但运算速度慢很多，大模型与小模型联合使用，会是现阶段比较好的选择。
在基座大模型的选型上有很高的趋同性，国外的开源模型，如 LlaMa-2/LlaMa-3 和 MISTRAL 7B 模型的普遍评价比较高。
对甲方单位网络安全与风险管理负责人，应该考虑使用安全大模型提升安全运营的效率，重新考虑人员规划与技术投入的比重；根据自身 SOC/SIEM 等运营工具建设情况，选择相应的安全大模型产品或服务形态，如安全智能体或安全对话机器人；开始考虑在数据分类分级、数据脱敏、数据防泄露中引入 AI 大模型用于提升数据安全管理自动化水平；在邮件安全网关类产品选择上应优先考虑采用人工智能大模型的产品；同时，规划好算力问题如何解决。
对网络安全公司产品负责人，则应当认识到安全大模型对现有安全产品的颠覆性影响，这是网络安全行业的灰犀牛事件，将对全行业的产品构成产生深远的影响，有些产品可能会被安全大模型技术消灭，而有些产品的能力将得到大幅提升；对安全大模型研发的技术难度有充分的准备，尤其是数据工程；对训练数据的来源给予足够重视，确保合法合规；时刻关注 AI 大模型底座的更新换代，及时切换到效果更好的 AI 大模型，并将各有特长的 AI 大模型用在最能发挥各自特长的地方。
结语
当前，AI 在网络安全领域的应用，已不仅仅是识别和判断风险的能力，还有采取解决措施的能力，AI 正在推动网络安全产业成为数字化、智能化社会的支柱型产业。而不断深入的智能化、数字化转型进程，也为网络安全行业提供了源源不断的新应用场景，这是网络安全领域可以持久不衰发展的重要因素。
