귀사의 AI도 공격 표면입니다.

AI 기능은 단일 프롬프트만으로 이루어지지 않습니다. AI 기능은 문서를 조회하고, 내부 데이터에 접근하고, 정보를 서비스로 전송하거나 도구를 통해 작업을 실행할 수 있습니다. 보안과 관련된 영향은 이러한 전체 시스템에서 발생합니다. 따라서 저희는 데이터 소스, 역할, 허용된 작업을 함께 살펴봅니다. 문서나 도구 응답에서 나온 콘텐츠는 잠재적으로 신뢰할 수 없는 입력으로 분류됩니다. 이로 인해 어떤 영향이 발생할 수 있는지는 권한과 해당 기능이 귀사 애플리케이션에 통합되는 방식에 따라 달라집니다.

이 분석은 전통적인 소프트웨어 보안 문제와 AI 특유의 위험을 함께 다룹니다. 사용자 인터페이스가 채팅 형태이더라도 인증, 테넌트 분리, 서버 측 인가는 여전히 중요합니다. 누가 어떤 데이터에 접근할 수 있는지를 모델이 단독으로 결정하지 않아야 합니다. 저희는 중요한 결정이 자유 형식의 응답 밖에서 검증 가능한 방식으로 내려지는지를 기준으로 아키텍처와 통제 지점을 평가합니다. 구체적인 구현 방식은 시스템에 따라 다르며 귀사의 개발 책임자와 협의하여 정합니다.

의미 있는 평가를 위해 대표성 있는 테스트 역할과 데이터 세트를 준비합니다. 예를 들어 RAG 애플리케이션에서는 검색 결과와 컨텍스트 구성이 정해진 접근 경계를 지키는지가 관심사입니다. 에이전트의 경우에는 어떤 도구에 접근할 수 있는지, 작업이 어떻게 승인되는지도 중점적으로 살펴봅니다. 조사는 승인된 범위 내에서만 이루어집니다. 증빙에 다른 고객의 데이터가 필요해서는 안 되며, 적절한 테스트 데이터 세트를 사용하면 영향을 의도한 대로, 통제 가능한 방식으로 확인할 수 있습니다.

모델 출력은 달라질 수 있습니다. 따라서 단 한 번의 성공 또는 실패 시도를 그대로 일반적인 결론으로 취급하지 않습니다. 전제 조건, 구성, 관찰된 동작을 문서화합니다. 특정 조건에서만 문제가 나타난다면 이러한 제한도 발견 사항에 포함됩니다. 반대로 문제가 관찰되지 않았다고 해서 가능한 모든 입력에 대한 보장이 되는 것은 아닙니다. 보고서는 입증된 영향, 남아 있는 가정, 추가 검토가 필요한 영역을 구분하여 제시합니다.

“Build fast”와 “ship fast”라고 해서 위험을 프로덕션 운영 단계에서야 발견해도 된다는 뜻은 아닙니다. 저희는 귀사의 팀과 함께 분석 결과를 우선순위가 정해진 변경 사항으로 구체화합니다. 여기에는 더 엄격한 권한, 분리된 데이터 접근, 검증된 도구 호출, 중대한 결과를 초래할 수 있는 작업에 대한 추가 승인이 포함될 수 있습니다. 어떤 조치가 적합한지는 실제 애플리케이션에 따라 정해집니다. 일반적인 프롬프트 규칙 모음이 아키텍처, 아이덴티티, 허용된 데이터 경로에 대한 작업을 대신하지는 않습니다.

관련 테스트 사례는 릴리스 프로세스에 포함할 수 있습니다. 이를 통해 모델, 문서 소스, 도구의 변경 사항을 알려진 요구 사항에 비추어 검토합니다. OTOKO®는 이를 위해 소프트웨어 분석 분야의 15년 경험과 95명으로 구성된 글로벌 팀의 협업 역량을 제공합니다. 귀사의 프로젝트에 맞는 담당자와 구체적인 서비스 범위를 정합니다. 귀사 개발팀과의 공동 작업을 통해 근거가 명확한 발견 사항, 실행 가능한 수정 조치, 이후 릴리스를 위한 기반을 함께 마련합니다.