®Offensive Security / KI- & AI-Anwendungssicherheit
KI-Funktionen entstehen schnell. Mit jedem Datenzugriff und jedem angebundenen Werkzeug wächst aber die Verantwortung Ihrer Anwendung. OTOKO® hilft Teams, AI-Software und SaaS sicherer zu gestalten: von der Architektur über autorisierte Tests bis zur Behebung. 15 Jahre Erfahrung in der Softwareanalyse und ein weltweites OTOKO® Team mit 95 Köpfen bilden die Grundlage unserer Zusammenarbeit.
Leistungen im Detail
Analyse, Integration und nachvollziehbare Übergabe
Ihr Auftrag an OTOKO®
Die Arbeitspakete werden aus Ihrer Ausgangslage abgeleitet. Ihr Team kennt den vereinbarten Umfang, die benötigte Mitwirkung und die Ergebnisse, die bei der Übergabe vorliegen sollen.
Prompts, Dokumente, Suchergebnisse und Werkzeugantworten kommen aus unterschiedlichen Quellen. Gemeinsam erfassen wir, wo Daten gelesen, verarbeitet und weitergegeben werden und welche Entscheidungen außerhalb des Modells abgesichert sein müssen.
Architektur- und Datenflussbewertung mit priorisierten Risiken.
Die Prüfung untersucht im autorisierten Testbestand, ob eine Anfrage nur auf die vorgesehenen Dokumente zugreifen kann. Rollen und Mandantenzuordnung müssen auch bei Suche, Kontextaufbereitung und Antwortausgabe zusammenpassen.
Nachvollziehbare Bewertung der vereinbarten Datenzugriffsgrenzen.
Welche Aktionen darf eine KI auslösen und welche brauchen eine zusätzliche Freigabe? Tool-Berechtigungen, Ausgaben und menschliche Entscheidungspunkte werden im Gesamtablauf untersucht, statt dem Modell allein die Durchsetzung von Grenzen zu überlassen.
Anforderungen und Befunde zu Aktionen, Berechtigungen und Freigaben.
Erkenntnisse aus Analyse und Tests werden in umsetzbare Änderungen und wiederholbare Prüfungen überführt. Repräsentative Fälle unterstützen den Retest nach Änderungen an Modell, Kontext, Werkzeugen oder Anwendungscode.
Priorisierte Verbesserungen und ein vereinbarter Regressionstestbestand.
Planung & Umsetzung
Eine KI-Funktion besteht aus mehr als einem Prompt. Sie kann Dokumente abrufen, auf interne Daten zugreifen, Informationen an Dienste senden oder Aktionen über Werkzeuge auslösen. Die sicherheitsrelevante Wirkung entsteht aus diesem Gesamtsystem. Gemeinsam betrachten wir deshalb Datenquellen, Rollen und erlaubte Aktionen. Inhalte aus Dokumenten oder Werkzeugantworten werden als potenziell nicht vertrauenswürdige Eingaben eingeordnet. Welche Auswirkungen daraus entstehen können, hängt von den Berechtigungen und der Einbindung in Ihre Anwendung ab.
Die Analyse verbindet klassische Softwarefragen mit KI-spezifischen Risiken. Authentisierung, Mandantentrennung und serverseitige Autorisierung bleiben wichtig, auch wenn die Oberfläche ein Chat ist. Ein Modell sollte nicht allein darüber entscheiden, auf welche Daten eine Person zugreifen darf. Architektur und Kontrollpunkte werden so bewertet, dass kritische Entscheidungen nachvollziehbar außerhalb einer frei formulierten Antwort getroffen werden. Die konkrete Umsetzung hängt vom System ab und wird mit Ihren Entwicklungsverantwortlichen abgestimmt.
Für eine aussagekräftige Prüfung werden repräsentative Testrollen und Datenbestände vorbereitet. Bei einer RAG-Anwendung interessiert beispielsweise, ob Suchergebnisse und Kontextaufbereitung die vorgesehenen Zugriffsgrenzen berücksichtigen. Bei Agenten steht zusätzlich im Mittelpunkt, welche Werkzeuge erreichbar sind und wie Aufträge freigegeben werden. Die Untersuchung bleibt innerhalb des autorisierten Umfangs. Für einen Nachweis sollen keine fremden Kundendaten benötigt werden; ein geeigneter Testbestand macht die Auswirkungen gezielt und kontrollierbar sichtbar.
Modellausgaben können variieren. Deshalb wird ein einzelner erfolgreicher oder fehlgeschlagener Versuch nicht unbesehen als allgemeine Aussage behandelt. Voraussetzungen, Konfiguration und beobachtetes Verhalten werden dokumentiert. Wenn sich ein Problem nur unter bestimmten Bedingungen zeigt, gehört diese Einschränkung zum Befund. Umgekehrt ist eine ausbleibende Beobachtung keine Garantie für alle möglichen Eingaben. Der Bericht trennt nachgewiesene Auswirkungen, bestehende Annahmen und Bereiche, die eine weitere Prüfung benötigen.
Build fast und ship fast müssen nicht bedeuten, Risiken erst im Produktivbetrieb zu entdecken. Analyseergebnisse werden mit Ihrem Team in priorisierte Änderungen übersetzt. Dazu können engere Berechtigungen, getrennte Datenzugriffe, validierte Tool-Aufrufe und zusätzliche Freigaben für folgenreiche Aktionen gehören. Welche Maßnahme geeignet ist, ergibt sich aus der tatsächlichen Anwendung. Eine Sammlung allgemeiner Prompt-Regeln ersetzt dabei nicht die Arbeit an Architektur, Identitäten und den erlaubten Datenwegen.
Relevante Prüffälle können in den Release-Prozess aufgenommen werden. Änderungen an Modell, Dokumentquellen oder Werkzeugen werden dadurch gegen bekannte Anforderungen betrachtet. OTOKO® bringt dafür 15 Jahre Erfahrung in der Softwareanalyse und die Zusammenarbeit eines weltweiten Teams mit 95 Köpfen ein. Für Ihr Vorhaben werden passende Ansprechpartner und ein konkreter Leistungsumfang festgelegt. Die gemeinsame Arbeit mit Ihrer Entwicklung verbindet nachvollziehbare Befunde mit umsetzbaren Korrekturen und einer Grundlage für spätere Releases.
Illustratives Projektszenario
Ein Assistent soll Mitarbeitenden nur die für ihre Rolle zulässigen Unterlagen bereitstellen. Mit vorbereiteten Testrollen werden Suchzugriffe, Kontextaufbereitung und angebundene Werkzeuge geprüft. Befunde fließen in konkrete Berechtigungs- und Integrationsänderungen sowie wiederholbare Prüffälle ein.
Vor dem Start
Nein. Kritische Datenzugriffe und Aktionen benötigen passende technische Grenzen in der Anwendung und ihren angebundenen Diensten. Ein Prompt kann diese Durchsetzung nicht allein ersetzen.
Ja. Ein bestehender Release kann mit seinen Rollen, Dokumentquellen und Integrationen in den autorisierten Prüfplan aufgenommen werden. Änderungen werden anschließend anhand der vereinbarten Fälle nachgeprüft.
Die Prüfung kann den Upload- und Verarbeitungsweg umfassen. Für laufende Dateikontrolle kann zusätzlich eine Integration von File Scanning und CDR vorgesehen werden; beides hat einen eigenen Leistungsumfang.
Für geeignet abgegrenzte und nachweisbare Ziele kann Result as a Service genutzt werden. Wegen variabler Ausgaben müssen Nachweisanforderungen und Bewertungsverfahren besonders klar vorab definiert werden.
Zusammenhängende Leistungen
KI- & AI-Anwendungssicherheit mit OTOKO®
Nennen Sie die betroffenen Systeme und das Ziel Ihrer Anfrage. Im ersten Gespräch grenzen wir Umfang, Voraussetzungen und die nächsten Schritte gemeinsam ab.
KI- & AI-Anwendungssicherheit besprechen
