LLM 또는 LLM 기반 시스템이 사용자의 의도를 넘어서거나 예상치 못한 행동을 수행할 수 있는 과도한 권한이나 자율성을 가질 때 발생합니다.
의도하지 않은 행동 수행, 시스템 변경, 금융 거래 실행, 악의적인 행동 증폭.
LLM의 권한 제한, 인간의 승인(Human-in-the-Loop) 시스템 도입, 실행 전 이중 확인, 행동 로깅 및 모니터링, 안전 장치 (kill switch) 마련.