貴社のAIも、攻撃対象領域の1つです。

AI機能は単一のプロンプトだけで成り立っているわけではありません。文書を取得したり、社内データにアクセスしたり、サービスへ情報を送信したり、ツールを通じて操作を実行したりすることがあります。セキュリティ上の影響は、このシステム全体から生まれます。そのため、データソース、ロール、許可された操作をあわせて確認します。文書やツールの応答から得られる内容は、信頼できない可能性がある入力として扱われます。そこから生じうる影響は、権限と貴社のアプリケーションへの組み込み方によって異なります。

この分析では、従来型のソフトウェアに関する課題とAI特有のリスクをあわせて扱います。インターフェースがチャットであっても、認証、テナント分離、サーバー側の認可は引き続き重要です。ある人がどのデータにアクセスできるかを、モデルだけで判断させるべきではありません。重要な判断が、自由に生成される応答の中ではなくその外側で、検証可能な形で行われるよう、アーキテクチャと制御ポイントを評価します。具体的な実装はシステムによって異なり、貴社の開発責任者と調整のうえ決定します。

意味のある評価を行うため、代表的なテストロールとデータセットを準備します。たとえばRAGアプリケーションでは、検索結果とコンテキスト生成が想定されたアクセス境界を守っているかが重要な論点になります。エージェントの場合はさらに、どのツールに到達できるか、依頼がどのように承認されるかが焦点になります。調査は許可された範囲内にとどめます。証跡の取得に第三者の顧客データを必要としないよう、適切なテストデータセットによって影響を的確かつ制御可能な形で可視化します。

モデルの出力は変動する可能性があります。そのため、一度の成功や失敗を無条件に一般的な結論として扱うことはありません。前提条件、設定内容、観測された挙動を記録します。ある問題が特定の条件下でのみ発生する場合、その制約も所見の一部として扱います。逆に、問題が観測されなかったことは、あらゆる入力に対する保証を意味しません。報告書では、実証された影響、残る前提、さらなる確認が必要な領域を分けて示します。

「素早く開発し、素早くリリースする」からといって、本番運用に入ってから初めてリスクに気づく必要はありません。分析結果は、貴社のチームとともに優先順位を付けた改善策へと落とし込みます。これには、権限の絞り込み、データアクセスの分離、ツール呼び出しの検証、影響の大きい操作に対する追加承認などが含まれることがあります。どの対策が適切かは、実際のアプリケーションによって決まります。一般的なプロンプトルールを集めただけでは、アーキテクチャ、ID、許可されたデータ経路に関する作業の代わりにはなりません。

関連するテストケースは、リリースプロセスに組み込むことができます。これにより、モデル、文書ソース、ツールへの変更を既知の要件と照らして確認します。OTOKO®はそのために、15年にわたるソフトウェア分析の経験と、世界各地の95名から成るチームの協力体制を提供します。貴社のプロジェクトに合わせて適切な担当者と具体的なサービス範囲を定めます。貴社の開発チームとの協働によって、根拠の明確な所見を実行可能な是正策につなげ、今後のリリースの基盤を築きます。