®Bezpieczeństwo ofensywne / Bezpieczeństwo aplikacji AI
Funkcje AI powstają szybko. Z każdym dostępem do danych i każdym podłączonym narzędziem rośnie jednak odpowiedzialność Państwa aplikacji. OTOKO® pomaga zespołom zwiększać bezpieczeństwo oprogramowania AI i SaaS: od architektury, przez autoryzowane testy, aż do naprawy. Podstawą naszej współpracy jest 15 lat doświadczenia w analizie oprogramowania oraz globalny zespół OTOKO® liczący 95 osób.
Szczegóły usług
Analiza, integracja i przejrzyste przekazanie
Państwa zlecenie dla OTOKO®
Pakiety prac wynikają z Państwa sytuacji wyjściowej. Państwa zespół zna uzgodniony zakres, wymagany udział z Państwa strony oraz wyniki, które mają być dostępne przy przekazaniu.
Prompty, dokumenty, wyniki wyszukiwania i odpowiedzi narzędzi pochodzą z różnych źródeł. Wspólnie ustalamy, gdzie dane są odczytywane, przetwarzane i przekazywane dalej oraz jakie decyzje muszą być zabezpieczone poza modelem.
Ocena architektury i przepływu danych z priorytetyzowanymi ryzykami.
W ramach sprawdzenia badamy w autoryzowanym zbiorze testowym, czy zapytanie ma dostęp wyłącznie do przewidzianych dokumentów. Role i przypisanie dzierżawców muszą być zgodne również podczas wyszukiwania, przygotowania kontekstu i generowania odpowiedzi.
Możliwa do zweryfikowania ocena uzgodnionych granic dostępu do danych.
Jakie działania może wywołać AI, a jakie wymagają dodatkowego zatwierdzenia? Uprawnienia narzędzi, dane wyjściowe i punkty decyzyjne z udziałem człowieka są badane w całym procesie, zamiast pozostawiać wymuszanie granic wyłącznie modelowi.
Wymagania i ustalenia dotyczące działań, uprawnień i zatwierdzeń.
Wnioski z analizy i testów są przekształcane w możliwe do wdrożenia zmiany i powtarzalne sprawdzenia. Reprezentatywne przypadki wspierają retest po zmianach w modelu, kontekście, narzędziach lub kodzie aplikacji.
Priorytetowe usprawnienia oraz uzgodniony zestaw testów regresyjnych.
Planowanie i wdrożenie
Funkcja AI to więcej niż jeden prompt. Może pobierać dokumenty, korzystać z danych wewnętrznych, przesyłać informacje do innych usług lub wywoływać działania za pomocą narzędzi. Skutki istotne dla bezpieczeństwa wynikają z całego tego systemu. Dlatego wspólnie analizujemy źródła danych, role i dozwolone działania. Treści pochodzące z dokumentów lub z odpowiedzi narzędzi traktujemy jako potencjalnie niezaufane dane wejściowe. To, jakie skutki mogą z nich wyniknąć, zależy od uprawnień i od sposobu integracji z Państwa aplikacją.
Analiza łączy klasyczne zagadnienia związane z oprogramowaniem z ryzykami specyficznymi dla AI. Uwierzytelnianie, rozdzielenie dzierżawców i autoryzacja po stronie serwera pozostają istotne, nawet jeśli interfejsem jest czat. Model nie powinien samodzielnie decydować, do jakich danych dana osoba ma dostęp. Architekturę i punkty kontrolne oceniamy tak, aby krytyczne decyzje zapadały w sposób możliwy do prześledzenia, poza swobodnie sformułowaną odpowiedzią. Konkretne rozwiązanie zależy od systemu i jest uzgadniane z osobami odpowiedzialnymi za rozwój po Państwa stronie.
Na potrzeby wiarygodnej weryfikacji przygotowujemy reprezentatywne role testowe i zbiory danych. W przypadku aplikacji RAG istotne jest na przykład, czy wyniki wyszukiwania i przygotowanie kontekstu respektują przewidziane granice dostępu. W przypadku agentów dodatkowo sprawdzamy, jakie narzędzia są dostępne i jak zatwierdzane są zlecenia. Badanie pozostaje w ramach autoryzowanego zakresu. Do przedstawienia dowodu nie powinny być potrzebne dane innych klientów; odpowiednio przygotowany zbiór testowy pokazuje skutki w sposób celowy i kontrolowany.
Wyniki modelu mogą się różnić. Dlatego pojedyncza udana lub nieudana próba nie jest bezkrytycznie traktowana jako ogólny wniosek. Dokumentujemy warunki wstępne, konfigurację i zaobserwowane zachowanie. Jeśli problem pojawia się tylko w określonych warunkach, to ograniczenie stanowi część ustalenia. Z drugiej strony to, że czegoś nie zaobserwowano, nie jest gwarancją dla wszystkich możliwych danych wejściowych. Raport rozdziela wykazane skutki, przyjęte założenia i obszary wymagające dalszej weryfikacji.
Build fast i ship fast nie muszą oznaczać, że ryzyka odkrywa się dopiero w środowisku produkcyjnym. Wyniki analizy przekładamy wspólnie z Państwa zespołem na priorytetowe zmiany. Mogą do nich należeć węższe uprawnienia, rozdzielony dostęp do danych, walidowane wywołania narzędzi oraz dodatkowe zatwierdzenia dla działań o poważnych skutkach. O tym, który środek jest właściwy, decyduje konkretna aplikacja. Zbiór ogólnych reguł dla promptów nie zastępuje przy tym pracy nad architekturą, tożsamościami i dozwolonymi ścieżkami danych.
Istotne przypadki testowe mogą zostać włączone do procesu wydawania wersji. Dzięki temu zmiany w modelu, źródłach dokumentów lub narzędziach są weryfikowane pod kątem znanych wymagań. OTOKO® wnosi do tego 15 lat doświadczenia w analizie oprogramowania oraz współpracę globalnego zespołu liczącego 95 osób. Dla Państwa przedsięwzięcia wyznaczamy odpowiednie osoby kontaktowe i konkretny zakres usług. Wspólna praca z Państwa zespołem programistów daje ustalenia możliwe do prześledzenia, wykonalne poprawki i podstawę dla kolejnych wydań.
Poglądowy scenariusz projektu
Asystent ma udostępniać pracownikom tylko dokumenty dozwolone dla ich roli. Na przygotowanych rolach testowych sprawdzamy dostęp przez wyszukiwanie, przygotowanie kontekstu oraz podłączone narzędzia. Ustalenia przekładają się na konkretne zmiany uprawnień i integracji, a także na powtarzalne przypadki testowe.
Przed rozpoczęciem
Nie. Krytyczny dostęp do danych i krytyczne działania wymagają odpowiednich granic technicznych w aplikacji i podłączonych do niej usługach. Sam prompt nie może zastąpić egzekwowania tych granic.
Tak. Istniejące wydanie może zostać włączone do autoryzowanego planu testów wraz z jego rolami, źródłami dokumentów i integracjami. Zmiany są następnie ponownie sprawdzane na podstawie uzgodnionych przypadków.
Weryfikacja może obejmować ścieżkę przesyłania i przetwarzania plików. Na potrzeby bieżącej kontroli plików można dodatkowo zaplanować integrację skanowania plików (File Scanning) i CDR; każda z tych usług ma własny zakres.
W przypadku odpowiednio wyodrębnionych celów, które można wykazać, da się wykorzystać model Result as a Service. Ze względu na zmienność wyników modeli wymagania dotyczące dowodu oraz procedura oceny muszą być szczególnie precyzyjnie zdefiniowane z wyprzedzeniem.
Powiązane usługi
Bezpieczeństwo aplikacji AI z OTOKO®
Proszę podać dotknięte systemy oraz cel swojego zapytania. Podczas pierwszej konsultacji wspólnie określimy zakres, warunki wstępne i kolejne kroki.
Omówmy Bezpieczeństwo aplikacji AI
