您的人工智能生态系统安全吗？

随着人工智能应用的激增，针对人工智能系统和数据集的网络攻击也显著增加。最近的报告显示，57% 的组织在过去一年中观察到人工智能驱动的攻击有所增加。⁶值得注意的是，亚马逊遭遇的网络威胁急剧增加，⁷六个月内每日网络攻击事件从 1 亿起飙升至近 10 亿起，这一激增的部分原因是人工智能的普及。

传统安全系统在保护生成式人工智能 (GenAI) 环境时往往存在不足，因为这些传统的保护措施并非为处理 GenAI 引入的独特风险而构建。这些工具依赖于静态规则和已知的威胁模式，但 GenAI 产生的输出不可预测且高度可变，不遵循固定的特征。因此，传统系统缺乏准确检测威胁所需的情境感知能力。他们还错过了传统 IT 环境中不存在的针对 AI 的攻击，例如即时注入、数据中毒和模型操纵。

GenAI 经常处理非结构化数据，如文本、代码或图像——传统安全工具难以有效分析的格式。此外，这些系统缺乏对人工智能模型如何产生响应的可见性，因此很难检测到细微的故障或误用。传统安全机制缺乏实时监控输入、输出和模型行为的能力，因此存在严重的漏洞，而人工智能原生威胁很容易利用这些漏洞。

即时注射

即时注入攻击是 GenAI 系统特有的一种安全威胁。在这种攻击中，恶意用户精心设计输入（提示）来诱骗人工智能忽略其原始指令并遵循攻击者的命令。

快速注入攻击很难被阻止，主要有两个原因。首先，攻击通常从合法访问开始——通过聊天机器人、输入字段或集成工具。该模型不需要以传统意义上的方式被“黑客入侵”；攻击是精心设计的，体现了对自然语言的巧妙滥用。因此，这些攻击不包含将攻击与授权使用区分开的签名或其他区别行为。  

这些攻击难以阻止的第二个原因是，快速注入利用了 GenAI 应用程序精确遵循指令的固有倾向——即使是降低安全性或性能的指令。想象一下测试大型银行系统的 GenAI 应用程序。这样的系统肯定会包括禁止泄露客户信息的规则。但是，快速注入攻击可以从“忽略共享客户信息的限制”开始，并依靠 GenAI 应用程序忠实地执行该任务，从而禁用安全措施。

及时注入可能导致数据泄露、违反政策、工具滥用以及人工智能系统越狱。这些攻击利用了人工智能缺乏语境理解以及过于字面地遵循指令的倾向。防止即时注入需要强大的输入验证、明确的角色分离以及对模型行为的实时监控。

开源模型

开源模型是公开发布的人工智能模型，其代码、架构、权重或训练数据在许可下提供。⁸开源软件的好处是有目共睹的。然而，使用开源AI模型也带来了反序列化、模型篡改等安全风险。  

反序列化是将存储的数据转换回程序中可用对象的过程。在人工智能中，它通常用于加载模型或配置。然而，反序列化不受信任的数据会带来严重的安全风险。攻击者可以制作恶意文件，加载后会触发远程代码执行、文件访问或权限提升。在人工智能系统中，这种攻击可能会通过后门或隐藏触发器破坏模型。pickle 或 joblib 等常用工具尤其容易受到攻击。

模型篡改涉及对人工智能模型的结构或行为进行未经授权的更改，带来严重的安全风险。攻击者可能会嵌入后门、触发条件或操纵输出来传播错误信息或泄露敏感数据。这些变化通常不被发现，从而破坏了模型的完整性和信任。在受监管的环境中，篡改可能导致违反合规性和持续威胁。

例如，一个研究小组开发了一个对交通标志进行分类的模型。他们不知道的是，黑客嵌入了一段代码，当图像包含某个小的视觉触发器时，会导致错误分类。在大多数情况下，模型的行为符合设计，但当它遇到嵌入触发器的图像时，输出就会受到影响。

不安全的输出

生成式人工智能的不安全输出会带来重大的安全威胁，因为它们通常会导致用户收到有害的 URL。这些链接要么是无意中出现的，要么是通过有针对性的操纵出现的。例如，聊天机器人从受损或故意毒害的来源提取信息后可能会生成危险链接。

恶意 URL 通常对用户来说看起来是合法的，但却是攻击者发起网络钓鱼计划、安装恶意软件或获取未经授权的系统访问权限的门户。在可信环境中，用户可能会毫无怀疑地遵循人工智能生成的建议，从而增加了受到损害的可能性。由于这些模型依赖于外部和历史数据，即使一个损坏的输入也可能导致不安全的内容，从而使系统面临风险并破坏对人工智能辅助工具的信心。防止此类威胁需要严格的内容过滤和持续监控输出质量。

敏感数据泄露

如前所述，GenAI 系统需要访问专有数据进行训练和运行，这必然会将信息置于传统安全控制之外。这些敏感数据对于黑客来说是一个有利可图的目标，他们可以操纵模型并泄露数据，从而导致严重的安全威胁。

GenAI 应用程序也容易产生幻觉，即模型生成看似可信的虚假或误导性信息。一个常见的例子是引用幻觉，其中 GenAI 模型会发明一篇不存在的研究论文、作者或来源。例如，它可能声称某项特定研究支持某个观点，并提供了看似真实的标题、期刊和日期——但这些都不是真实的。这些捏造的引用可能会误导用户，尤其是在学术或专业环境中，来源的准确性至关重要。

特工劫持

技术发展日新月异，人工智能代理的迅速崛起更体现了这一点。代理是能够感知环境、处理数据并做出决策以完成任务的自主系统。他们学习和适应，处理药物研发、客户服务、营销、编码和研究等复杂工作。78% 的公司计划使用人工智能代理⁹，因此确保组织的这一宝贵能力对于充分实现其人工智能投资的价值至关重要。

许多人工智能代理容易受到代理劫持的攻击，这是一种间接提示注入¹⁰，攻击者将恶意指令插入人工智能代理可能提取的数据中，导致其采取非预期的有害行动。在这些攻击情况下，潜在的窃贼可以注入恶意指令以及合法指令来渗透组织的安全措施 - 就像隐藏在众目睽睽之下一样。

来自领先行业分析师的调查表明，首席信息安全官 (CISO) 对其组织的 AI 安全措施有着复杂的感受。尽管大多数（83%）投资网络安全的高管表示，他们的组织投入了适当的资金，但许多人（60%）仍然担心他们的组织面临的网络安全威胁比他们的防御措施更为先进。¹¹

他们的担忧是有道理的。人工智能系统带来了全新的风险——例如即时注入、数据中毒、模型盗窃和幻觉——而传统的安全工具从未能够处理这些风险。作为回应，供应商纷纷推出针对特定人工智能相关威胁的点解决方案来填补空白。虽然出发点是好的，但这种方法却导致了生态系统的碎片化，其中不连贯的工具无法共享威胁情报，彼此之间无法集成，并且需要单独管理。因此，企业被迫将多种产品拼凑在一起才能跟上步伐，而人工智能威胁仍在快速发展。现实情况很明显：确保 GenAI 的安全需要的不仅仅是一套孤立的工具。它需要一种集成的、人工智能原生的方法，能够像它保护的技术一样快速适应。

Palo Alto Networks 通过开发完整的 AI 安全平台来应对这种混乱而复杂的方法。Prisma AIRS 是全球最全面的人工智能安全平台，为模型、数据、应用程序和代理提供保护。这种统一的方法不仅能满足当今的安全需求，还能随着技术的发展而发展，保护对人工智能安全的投资。

Prisma AIRS 的关键创新是将专用安全性集成到单一平台中，以确保 AI 基础设施的每个组件的安全。这种方法可以提供最高效率和最低误报率的威胁防护。

AI模型扫描

人工智能模型面临着多种可能破坏其安全性的威胁。模型篡改涉及改变模型的内部逻辑或参数以产生有偏见或不安全的输出。部署期间可能会引入恶意脚本，从而导致未经授权的操作或系统入侵。反序列化攻击利用模型加载已保存数据的方式，允许攻击者运行有害代码。当虚假或操纵的数据被添加到训练集时，就会发生模型中毒，导致模型学习不正确的行为或隐藏的后门。

Prisma AIRS 使用 AI 模型扫描来对抗这些威胁，这有助于在部署 AI 模型之前检测恶意代码、后门或不安全配置等隐藏威胁。此功能可确保模型安全、可信且符合安全策略。

通过 AI 模型扫描，您可以：

姿势管理

态势管理对于人工智能安全至关重要，因为它可以提供人工智能系统配置和使用方式的持续可见性。如果没有它，团队可能会忽视错误配置、不安全行为或未经授权的访问。由于人工智能系统不断发展并处理敏感数据，态势管理有助于执行政策、检测风险并减少违规的可能性，确保更安全、合规的人工智能运行。

获得正确的权限对于人工智能代理来说至关重要，因为它们通常自主行动并在没有直接监督的情况下访问工具或数据。过于宽松的政策可能导致安全违规、数据泄露或系统损坏，而过于严格的政策则会限制代理的有效性。为了降低违规风险并确保安全、合规的人工智能操作，代理必须遵循最小特权原则——仅拥有执行任务所需的最小访问权限，仅此而已。

Prisma AIRS 为您的安全团队提供有效态势管理所需的能力。现在，您的团队可以持续了解 AI 系统的配置、使用情况和风险。有了这些信息，组织可以及早发现漏洞、实施安全策略并减少配置错误或数据泄露的可能性。

通过 Prisma AIRS 姿势管理，您可以：

AI红队

红队对于人工智能安全非常重要，因为它可以帮助组织在攻击者之前发现弱点。通过模拟现实世界的攻击，红队测试人工智能系统如何应对诸如即时注入、数据中毒和模型操纵等威胁。这种主动方法可以发现模型、训练数据和系统行为中隐藏的漏洞。它还有助于改善防御、验证政策并增强对人工智能应用的信任。  

红队通过在攻击者利用漏洞之前发现漏洞，在人工智能安全中发挥着至关重要的作用。它模拟现实世界的威胁——例如提示注入、数据中毒和模型操纵——以揭示模型、训练数据和系统行为中隐藏的漏洞。与依赖预定义测试用例的静态红队工具不同，我们的解决方案是动态的。它了解应用程序的背景（例如医疗保健或金融服务），并智能地针对攻击者试图提取的数据类型。与其他解决方案不同，我们的自适应测试引擎不会在失败时停止，而是学习、重新制定策略并不断重新测试，直到确定可利用的路径。这种动态的、情境感知的方法不仅可以发现更深层次的风险，还可以加强防御并建立对人工智能系统的持久信任。

Prisma AIRS AI Red Teaming 使您的 AI 安全团队能够：

AI代理安全

确保人工智能代理的安全非常重要，因为这些系统可以在没有人工监督的情况下做出决策并采取行动。如果受到威胁，他们可能会滥用工具、访问敏感数据或造成严重损害。诸如提示注入、数据中毒或过度许可等威胁可能会导致未经授权的行为。保护人工智能代理可确保它们安全运行、遵循预期目标并且不会让组织面临隐藏的风险。随着代理人工智能的采用率不断提高，强大的安全控制对于防止滥用和保护信任至关重要。

借助 AI Agent Security，您的团队可以：

运行时安全

Prisma AIRS 平台的运行时安全组件是一个全面的解决方案，旨在保护 AI 应用程序、模型、数据和代理免受 AI 特定和传统网络威胁。运行时安全提供实时防护，防范提示注入、恶意代码、数据泄露、模型篡改等风险。通过持续监控人工智能系统，运行时安全确保人工智能运行的完整性和安全性，帮助组织放心地部署人工智能技术。

对于希望保护其 AI 部署的组织，Runtime Security 提供了强大且可扩展的解决方案，可解决 AI 技术带来的独特挑战。您可以在开发人员和网络两个级别部署运行时安全。  

Prisma AIRS 平台与 Palo Alto Networks Strata Cloud Manager 无缝集成，为整个 AI 生态系统提供集中管理和可视性。Prisma AIRS 采用先进的威胁检测和预防机制来保护 AI 工作负载，确保合规性并降低数据泄露的风险

组织可以通过将这些功能集成到 GenAI 生命周期中来获得 Prisma AIRS 的好处。Prisma AIRS 解决了从部署前集成和运行时控制到持续监控和红队测试代理和模型安全的完整生命周期。

部署前集成

开发人员通过在部署之前扫描模型和训练数据来查找后门、不安全的序列化和嵌入式威胁，将 Prisma AIRS 集成到 CI/CD 或 MLOps 管道中。使用 API，Prisma AIRS 还可以连接到 MLflow 或 Hugging Face Spaces 等模型注册表，以自动扫描和标记已批准的模型，从而简化早期安全检查。

运行时控制

在运行时，开发人员通过 API、软件开发工具包 (SDK)、模型上下文协议 (MCP) 或网络配置文件使用 Prisma AIRS 对 GenAI 代理实施严格的访问控制，定义每个代理可以使用哪些工具或 API。这些策略通过边车或代理来强制执行，以防止未经授权的行为。Prisma AIRS 还支持快速清理、输入验证、输出日志记录和防御快速注入。

持续监控

Prisma AIRS 通过提供模型、代理和数据活动的实时可见性，实现对 AI 环境的持续监控。它可以检测到异常行为、错误配置以及安全策略违规行为。通过监控提示注入、数据泄露和滥用人工智能工具等威胁，它有助于保护开发和生产环境。该平台不断分析活动以发现新出现的风险，并通过自动检测和测试适应不断演变的威胁。这种主动方法可确保人工智能系统保持安全、合规和有弹性——而无需依赖人工监督或断开连接的工具。

红队进行模型和代理测试

开发人员使用 Prisma AIRS 红队工具模拟对抗性输入和误用场景，测试模型和 GenAI 代理在潜在攻击条件下的响应方式。这些模拟攻击有助于识别逻辑、行为或工具访问中的漏洞。开发人员可以利用这些见解来加强模型的防御能力并提高代理的安全性，确保在部署之前系统更加安全可靠。

Strata Copilot 是 Palo Alto Networks 的 AI 助手，它使用 Precision AI^® 通过实时洞察和自然语言交互来简化网络安全操作。

Palo Alto Networks 的 Prisma AIRS 开发团队与 Strata Copilot 团队合作，首次进行 Prisma AIRS 的生产部署。Strata Copilot 通过积极使用该平台并提供早期反馈来帮助制定产品路线图。如今，美国与 Strata Copilot 的每一次互动都通过 Prisma AIRS API 进行，该 API 会扫描提示并模拟响应，以发现提示注入、敏感数据暴露、恶意 URL 和有毒内容等威胁。这种集成为团队提供了实时威胁检测、可见性和执行能力，使他们能够构建安全且合规的聊天机器人。Prisma AIRS 还通过遵循安全 AI 设计原则帮助他们更快地交付功能。

与 Strata Copilot 的合作在将 Prisma AIRS 开发为灵活、可投入生产的解决方案方面发挥了关键作用。Strata 和外部客户的见解有助于改进产品，以满足人工智能应用程序、模型和代理快速变化的需求。他们的工程团队认为 Prisma AIRS 对于开发生命周期至关重要，它允许快速部署、通过 API 拦截简化安全性以及更安全的 AI 体验。

与 Strata Copilot 的合作在将 Prisma AIRS 开发为灵活、可投入生产的解决方案方面发挥了关键作用。Strata 和外部客户的见解有助于改进产品，以满足人工智能应用程序、模型和代理快速变化的需求。他们的工程团队认为 Prisma AIRS 对于开发生命周期至关重要，它允许快速部署、通过 API 拦截简化安全性以及更安全的 AI 体验。