理解数据边界与信任边界
提示词(Prompt)、文档、搜索结果和工具返回结果,都来自不同的来源。我们会与您一起梳理数据在哪些环节被读取、处理和传递,以及哪些决策必须在模型之外得到保障。
架构与数据流评估,并按优先级列出风险。
进攻性安全 / AI 应用安全
AI 功能的构建往往很快,但每一次数据访问、每一个接入的工具,都会让您的应用程序承担更多责任。OTOKO® 帮助团队让 AI 软件和 SaaS 变得更安全:从架构设计,到经授权的测试,再到问题修复。15 年的软件分析经验,以及一支遍布全球、拥有 95 名成员的 OTOKO® 团队,构成了我们合作的基础。
服务详情
分析、集成与有据可查的移交
您对 OTOKO® 的委托
工作包由您当前的情况推导而来。您的团队将清楚了解约定的范围、所需的配合以及移交时应具备的成果。
提示词(Prompt)、文档、搜索结果和工具返回结果,都来自不同的来源。我们会与您一起梳理数据在哪些环节被读取、处理和传递,以及哪些决策必须在模型之外得到保障。
架构与数据流评估,并按优先级列出风险。
检测会在获得授权的测试数据集中,验证一次请求是否只能访问预定范围内的文档。角色权限和租户分配,在检索、上下文构建和答案生成等环节,也必须保持一致。
对约定的数据访问边界作出有据可查的评估。
AI 可以触发哪些操作,哪些操作又需要额外的审批?我们会在整体流程中检查工具权限、输出内容和人工决策节点,而不是把边界的执行完全交给模型本身。
关于操作、权限和审批的要求与检测发现。
分析和测试中得到的发现,会被转化为可落地的变更和可重复执行的检测。具有代表性的用例,为模型、上下文、工具或应用代码发生变更后的复测提供支持。
经过优先级排序的改进措施,以及商定的回归测试用例集。
规划与实施
AI 功能不仅仅是一个提示词。它可以检索文档、访问内部数据、向其他服务发送信息,或通过工具触发操作。安全影响正是产生于这一整体系统。因此,我们会共同审视数据来源、角色和允许执行的操作。来自文档或工具响应的内容,会被视为潜在不可信的输入。由此可能产生的影响,取决于权限设置以及该功能在您应用中的集成方式。
此项分析将传统软件问题与 AI 特有风险结合起来考量。即使界面是聊天形式,身份认证、租户隔离和服务端授权仍然至关重要。模型不应单独决定某个用户可以访问哪些数据。我们会评估架构和控制点,确保关键决策在自由生成的回答之外、以可核查的方式做出。具体的实施方式取决于系统本身,并与您的开发负责人共同商定。
为了让检测得出可靠的结论,我们会准备具有代表性的测试角色和数据集。以 RAG 应用为例,需要关注的是搜索结果和上下文组织是否遵守既定的访问边界。对于智能体(Agent),还需要重点关注哪些工具可被调用,以及任务是如何获得授权的。整个调查始终保持在授权范围之内。验证不应依赖其他客户的数据;合适的测试数据集可以有针对性地、可控地展现相应影响。
模型的输出可能会有所不同。因此,单次成功或失败的尝试不会被不加甄别地当作普遍结论。前提条件、配置和观察到的行为都会被记录下来。如果某个问题仅在特定条件下出现,这一限制也会作为发现的一部分予以说明。反之,未观察到问题也并不能保证所有可能的输入都是安全的。报告会将已证实的影响、尚存的假设,以及需要进一步核查的领域分别列出。
“Build fast”和“ship fast”并不意味着风险只能等到生产环境中才被发现。我们会与您的团队一起,将分析结果转化为有优先级的改进措施,其中可能包括收紧权限、分离数据访问、对工具调用进行校验,以及为高风险操作增加额外的审批环节。哪种措施合适,取决于实际应用本身。一份通用的提示词规则清单,并不能替代在架构、身份和允许的数据路径上所做的工作。
相关的测试用例可以纳入发布流程。这样一来,模型、文档来源或工具的每次变更,都会对照已知要求进行审视。OTOKO® 为此投入 15 年的软件分析经验,并依托一支由 95 人组成的全球团队协同工作。我们会为您的项目确定合适的联系人和具体的服务范围。通过与您的开发团队共同工作,我们将有据可查的发现与可落地的修正措施结合起来,并为后续发布奠定基础。

示例项目场景
某助手应仅向员工提供其角色权限范围内的资料。我们通过预先设定的测试角色,检查搜索访问、上下文组织和已接入的工具。相关发现会转化为具体的权限和集成调整,以及可重复执行的测试用例。
启动之前
不能。关键的数据访问和操作,需要在应用及其对接的服务中设置相应的技术边界。仅靠提示词无法替代这种强制约束。
是的。现有版本及其角色、文档来源和集成,都可以纳入经授权的测试计划。后续的变更会依据约定的测试用例重新核查。
测试可以涵盖上传和处理流程。若需持续性的文件管控,还可以额外规划 File Scanning 与 CDR 的集成;两者各有独立的服务范围。
对于范围清晰、可验证的目标,可以采用 Result as a Service 模式。由于模型输出具有可变性,必须在开始前格外明确地定义证明要求和评估流程。
相关服务
OTOKO® 提供的 AI 应用安全
请说明涉及的系统以及您此次咨询的目标。在初步沟通中,我们会与您共同界定范围、前提条件和后续步骤。
探讨 AI 应用安全