LLM은 데이터 포이즌링과 프롬프트 인젝션 위험에 취약하다고 영국 관리기관이 경고합니다.
The LLM is vulnerable to data poisoning and prompt injection risks, warns a UK regulatory agency.
영국 국립 사이버 보안 센터(NCSC)는 대형 언어 모델 (LLM) – 예: ChatGPT – 을 조직의 비즈니스, 제품 또는 서비스에 통합하는 것과 관련된 임박한 사이버 위험에 조직이 주의해야한다고 경고하고 있습니다.
NCSC는 블로그 게시물 세트에서 LLM의 능력, 약점 및 (가장 중요한) 취약성을 글로벌 기술 공동체가 아직 완전히 이해하지 못하고 있다고 강조했습니다. “LLM에 대한 우리의 이해는 여전히 ‘베타’ 상태라고 할 수 있습니다.”라고 권한은 말합니다.
기존 LLM의 가장 많이 보고된 보안 약점 중 하나는 악성 “프롬프트 인젝션” 공격에 대한 취약성입니다. 이는 사용자가 인공지능 모델이 의도하지 않은 방식으로 작동하도록 하는 입력을 생성 할 때 발생합니다. 예를 들어, 모욕적인 콘텐츠 생성 또는 기밀 정보 누설입니다.
또한, LLM이 훈련된 데이터는 두 가지 위험을 초래합니다. 첫째로, 이러한 데이터 중 상당 부분은 개방된 인터넷에서 수집되므로 정확하지 않거나 논란이되거나 편향적인 콘텐츠를 포함 할 수 있습니다.
둘째로, 사이버 범죄자들은 악의적인 목적으로 사용 가능한 데이터를 왜곡 할뿐만 아니라 프롬프트 인젝션 공격을 숨기기 위해 사용할 수도 있습니다. 이렇게하여 예를 들어 은행의 계좌 소유자를위한 AI 보조 프로그램이 공격자에게 돈을 이체하도록 속일 수 있습니다.
“LLM의 등장은 의심할 여지없이 기술의 매우 흥미로운 시기이며 많은 사람들과 조직 (NCSC를 포함하여)은 이를 탐구하고 혜택을 얻길 원합니다.”라고 권한은 말합니다.
“그러나 LLM을 사용하는 서비스를 구축하는 조직은 베타 버전인 제품이나 코드 라이브러리를 사용하는 경우와 마찬가지로 주의해야합니다.”라고 NCSC가 덧붙입니다. 즉, 주의를 기울여야합니다.
영국 기관은 조직에 사이버 보안 원칙을 수립하고, LLM 기반 애플리케이션에서 허용되는 “최악의 경우”에 대처할 수 있는지 확인하도록 촉구하고 있습니다.
