什么是人工智能安全态势管理（AI-SPM）？
人工智能安全态势管理（AI-SPM）是维护 人工智能（AI ）和 机器学习（ML） 系统安全和完整性的全面方法。它涉及对人工智能模型、数据和基础设施的安全态势进行持续监控、评估和改进。AI-SPM 包括识别和解决与采用人工智能相关的漏洞、配置错误和潜在风险，以及确保合规性符合相关隐私和安全法规。
通过实施 AI-SPM，组织可以主动保护其人工智能系统免受威胁，最大限度地减少数据暴露，并维护其人工智能应用的可信度。
AI-SPM 解释
人工智能安全态势管理（AI-SPM）是网络安全领域的重要组成部分，人工智能（AI）在其中发挥着举足轻重的作用。人工智能系统包括机器学习模型、 大型语言模型 (LLM)和自动决策系统，具有独特的脆弱性和攻击面。AI-SPM 通过为技术生态系统中与人工智能组件相关的风险提供可见性、评估和缓解机制来解决这些问题。
可见性和发现
缺乏人工智能清单会导致影子人工智能模型、合规性违规以及通过人工智能驱动的应用程序进行数据外渗。AI-SPM 允许组织发现并维护其云环境中正在使用的所有人工智能模型的清单，以及与这些模型的训练、微调或落地相关的云资源、数据源和数据管道。
数据管理
以人工智能为重点的立法要求对人工智能的使用和输入到人工智能应用中的客户数据进行严格控制，这就要求 人工智能治理 比大多数组织目前实行的 治理 更加有力。AI-SPM 检查用于训练和建立人工智能模型的数据源，以识别和分类敏感数据或受监管数据（如客户的 个人身份信息 (PII)） ，这些数据可能会通过受污染模型的输出、日志或交互而暴露出来。
风险管理
AI-SPM 使组织能够识别人工智能供应链中可能导致 数据外泄 或未经授权访问人工智能模型和资源的漏洞和配置错误。该技术映射出完整的人工智能供应链--源数据、参考数据、库、应用程序接口以及为每个模型提供动力的数据管道。然后对供应链进行分析，找出不当的 加密、日志记录、身份验证或授权设置。
运行时监控和检测
AI-SPM 可持续监控用户交互、提示和对人工智能模型（如大型语言模型）的输入，以检测涉及模型的误用、提示超载、未经授权的访问尝试或异常活动。它可以扫描人工智能模型的输出和日志，以识别潜在 的敏感数据 暴露情况。
风险缓解与应对
当围绕数据或人工智能基础架构检测到高优先级安全事件或政策违规时，AI-SPM 可实现快速响应工作流。它提供了对背景和利益相关者的可见性，以便对已识别的风险或配置错误进行补救。
治理与合规性
随着有关人工智能使用和客户数据的法规（如 GDPR 和 NIST 的 人工智能风险管理框架）日益增多，AI-SPM 可帮助组织执行政策、维护审计跟踪（包括模型流程、批准和风险接受标准的可追溯性），并通过映射可访问敏感数据或人工智能模型的人类和机器身份来实现合规性。
为什么 AI-SPM 很重要？
在企业和关键基础设施中部署人工智能系统带来了攻击面的扩大，而传统的安全措施并不具备防护能力。除了人工智能驱动的应用要求组织存储和保留更多数据（同时实施新的数据管道和基础设施）外，人工智能攻击载体还针对人工智能算法的独特特征，包括一类与众不同的威胁。
其中一个攻击载体是数据中毒，即恶意行为者向训练数据中注入精心制作的样本，导致人工智能模型学习到有偏见或恶意的模式。另一方面，对抗性攻击涉及对输入数据的微妙干扰，会误导人工智能系统做出错误的预测或决策，可能造成严重性后果。
模型提取--攻击者试图通过未经授权的访问或探测模型的输出以重建其内部参数来窃取组织的专有模型--也令人担忧。这种攻击可能导致知识产权被盗，被盗模型也可能被恶意滥用。
AI-SPM 是采用人工智能的安全对策。通过为组织提供预测和应对人工智能特定漏洞和攻击的工具，AI-SPM 支持积极主动的安全态势，使组织有能力管理人工智能管道中的风险。从最初的设计阶段到部署和操作使用，AI-SPM 可确保 人工智能安全 成为 人工智能开发生命周期中不可或缺的一部分。
AI-SPM 与 CSPM 有何不同？
云安全态势管理（CSPM） 和 AI-SPM 相辅相成，但分别侧重于管理不同领域--云基础设施和 AI/ML 系统--的安全态势。
CSPM 的核心是评估和降低 AWS、Azure 和 GCP 等公共云环境中的风险。其主要目标是确保云资源按照安全最佳实践进行正确配置，检测造成漏洞的错误配置，并强制执行合规性监管政策。
CSPM 的核心能力包括
- 持续发现和盘点所有云资产（计算、存储、网络等）
- 根据基准评估安全组规则、IAM 政策和加密设置
- 监控引入新风险的配置更改
- 自动修复不安全配置
相比之下，人工智能安全态势管理侧重于人工智能和 ML 系统在其整个生命周期--数据、模型训练、部署和运营--中的独特安全考虑因素。AI-SPM 集成了针对训练数据、模型和笔记本等人工智能资产的专门安全控制。它维护一个知识库，将人工智能威胁与适用的应对措施进行映射。
为了降低数据风险，AI-SPM 结合了数据中毒和污染的检测和防范，即识别并消除对训练数据的有害更改。它还利用差异化隐私技术，让组织在不暴露敏感信息的情况下安全地共享数据。
在确保模型供应链安全方面，AI-SPM 依靠严格的版本控制和出处跟踪来管理模型迭代和历史。此外，还有保护模型机密性的加密和 访问控制 ，以及旨在挫败模型提取和成员推理攻击的专门测试。
保护实时人工智能和 ML 系统包括监控对抗性输入扰动，即通过扭曲输入欺骗人工智能模型的行为。运行时模型加固被用来增强人工智能系统抵御这些攻击的能力。
AI-SPM 结合了针对人工智能资产（如训练数据、模型、笔记本）的专门安全控制，以及针对对抗性攻击、模型窃取等风险的人工智能特定威胁模型。它维护一个知识库，将人工智能威胁与适用的应对措施进行映射。
CSPM 侧重于云基础设施的安全态势，而 AI-SPM 则管理可能部署在云或本地部署的 AI/ML 系统的安全态势。随着人工智能在云堆栈中的嵌入，这两个学科需要同步进行全面 风险管理。
例如，CSPM 可确保托管人工智能工作负载的云资源具有正确的配置，而 AI-SPM 则可验证部署的模型和数据管道是否具有足够的安全加固。它们共同提供全堆栈人工智能安全态势可视性和风险缓解。
AI-SPM 与 DSPMDSPM
数据安全与隐私管理（DSPM） 和人工智能-SPM 是更广泛的安全与隐私管理领域中截然不同但又相辅相成的两个领域。DSPM 侧重于保护静态、传输和处理过程中的数据，确保数据的保密性、完整性和可用性。DSPM 的主要方面包括加密、访问控制、 数据分类和。
人工智能安全态势管理涉及确保人工智能模型、算法和系统的安全。它解决了人工智能技术带来的独特挑战，如对抗性攻击、数据中毒、模型窃取和偏见。AI-SPM 包括安全模型训练、保护隐私的人工智能技术、防御攻击和可解释性。
虽然 DSPM 和 AI-SPM 涉及安全和 数据隐私的不同方面，但它们共同发挥作用，创建了全面综合的安全策略。DSPM 为数据保护奠定了基础，而 AI-SPM 则确保安全、负责任地使用处理和分析数据的人工智能技术。整合这两个领域可使组织同时保护其数据资产和人工智能系统，最大限度地降低风险，确保 数据合规性符合 相关法规。
MLSecOps 中的 AI-SPM
人工智能安全态势管理是机器学习安全运营（MLSecOps）的基石，是用于确保人工智能生命周期安全的实践和工具。MLSecOps 包括从确保用于训练模型的数据安全到监控已部署模型的漏洞等各个方面，目标是在整个开发和运行过程中确保 ML 系统的完整性、可靠性和公平性。
在 MLSecOps 中，AI-SPM 重点关注人工智能系统的特定安全需求，与传统的 ML 相比，人工智能系统往往涉及更复杂的模型和功能。这种复杂性带来了 AI-SPM 所要应对的独特安全挑战-- 数据安全、模型安全、模型监管和合规性。AI-SPM 在 MLSecOps 中的优势是毋庸置疑的：
- 强化安全态势：通过主动应对人工智能特定的安全风险，AI-SPM 加强了组织的 ML 管道和部署模型的整体安全态势。
- 提高对人工智能的信任：人工智能安全增强了人们对人工智能系统的信任，使其更加可靠，也更容易集成到业务流程中。
- 更快、更安全的创新：AI-SPM 为人工智能开发提供了一个安全的环境，使组织能够满怀信心地利用人工智能技术进行创新。
AI-SPM 常见问题
基础和训练是开发人工智能模型的两个不同方面，但它们都有助于提高这些系统的功能和效率。
基础包括将人工智能的操作（如语言理解或决策过程）与现实世界的环境和数据联系起来。这就是要确保人工智能模型的输出结果在实际环境中是适用和有意义的。例如，语言模型的基础包括教会它将词语与相应的现实世界物体、行为或概念联系起来。在图像识别等任务中，模型必须将图像中的像素与有形对应的可识别标签联系起来。
训练指的是通过向人工智能模型输入数据，教它做出预测或决策的过程。在训练过程中，模型学会识别模式、建立联系，并逐渐提高其准确性。这种情况会随着各种算法对模型内部参数的调整而发生，通常是通过将模型暴露在已知输入和所需输出（标签）的大型数据集上。这一过程增强了模型从训练数据泛化到未见过的新情况的能力。
接地和培训的主要区别在于它们的重点和应用：
- 接地 就是要确保与现实世界的相关性和实用性，在抽象的人工智能计算和具体的现实应用之间架起一座桥梁。
- 培训 涉及优化模型性能的技术方法，主要侧重于规定任务内的准确性和效率。
可见性和控制是人工智能安全态势管理的重要组成部分。为了有效管理人工智能和 ML 系统的安全态势，组织需要清楚地了解其人工智能模型、这些模型中使用的数据以及相关的基础设施。这包括对人工智能供应链、数据管道和云环境的可视性。
有了可见性，组织就能识别潜在风险、配置错误和合规性问题。通过控制，组织可以采取纠正措施，如实施安全策略、修补漏洞和管理 AI Security 资源的访问。
人工智能物料清单（AIBOM）是一份主清单，其中记录了用于构建和运行人工智能系统或模型的所有组件和数据源。AIBOM 提供了管理人工智能生命周期所急需的端到端透明度，使以下方面变得清晰可见：
- 用于建立人工智能模型的训练数据
- 利用的任何预训练模型或库
- 用于基础或知识检索的外部数据源
- 使用的算法、框架和基础设施
- 与模型集成的应用程序接口和数据管道
- 可访问模型的人/服务的身份信息
把 AIBOM 想象成 软件物料清单（SBOM） ，但重点是映射构成人工智能系统的数据和操作两方面的构件。
在人工智能安全方面，可解释性是指理解和解释人工智能/ML 模型的推理、决策过程和行为的能力，尤其是在识别潜在安全风险或漏洞时。可解释性的主要方面包括
- 能够解释人工智能模型如何根据输入数据得出输出结果或决策。这有助于分析模型是否按预期运行，或是否存在任何可能表明安全问题的异常。
- 了解人工智能模型的内部运作、参数和逻辑，而不是把它当作一个黑盒子。这种透明度有助于对模型进行审计，以发现潜在的漏洞或偏差。
- 能够追踪开发和运行人工智能模型所涉及的数据源、算法和流程。这就赋予了整个人工智能供应链的可解释性。
- 验证和解释人工智能模型在不同条件、边缘情况或对抗性输入下的行为的技术，以发现安全漏洞。
- 人工智能法规越来越多地要求可解释性，将其作为问责措施的一部分，以了解模型的行为是否合乎道德、公平、无偏见。
可解释性是监控 AI 模型的异常、漂移和运行时破坏，调查 AI 相关事件的根本原因，以及在部署前根据安全策略验证 AI 模型所不可或缺的。
笔记本指的是交互式编码环境，如 Jupyter 笔记本或 Google Colab 笔记本。它们允许数据科学家和 ML 工程师在单一文档中编写和执行用于数据探索、模型训练、测试和实验的代码，该文档结合了实时代码、可视化、叙述性文本和丰富的输出。笔记本通过其包含的代码定义了数据管道、预处理步骤、模型架构、超参数等，促进了迭代和协作式模型开发过程。
从人工智能安全的角度来看，笔记本电脑是需要治理的重要资产，因为它是人工智能的重要组成部分：
- 它们通常包含或访问敏感的训练数据集。
- 模型代码和参数属于保密知识产权。
- 笔记本可针对敌对样本或攻击测试模型。
- 共享笔记本有可能泄露私人数据或模型细节。
人工智能供应链指的是开发、部署和维护人工智能模型的端到端流程--包括数据收集、模型训练和集成到应用程序中。除了涉及的各个阶段，人工智能供应链还包括数据源、数据管道、模型库、应用程序接口和云基础设施。
管理人工智能供应链对于确保人工智能模型的安全性和完整性以及保护敏感数据不被暴露或滥用至关重要。
人工智能攻击载体是指威胁参与者利用人工智能和 ML 系统漏洞破坏其安全性或功能的各种方式。一些常见的人工智能攻击载体包括
- 数据中毒：操纵训练数据，在人工智能模型中引入偏差或错误，使其产生错误或恶意输出。
- 模型反转：利用人工智能模型的输出来推断训练数据的敏感信息，或对模型进行逆向工程。
- 对抗性实例：巧妙地改变输入数据，使人工智能模型产生错误或有害的输出，而在人类可观测性看来却是正常的。
- 模型失窃：窃取人工智能模型或其参数，以创建副本供未经授权的使用或识别潜在漏洞。
- 基础设施攻击：利用支持人工智能系统的云环境或数据管道中的漏洞，获取未经授权的访问、破坏操作或外流数据。
