🤖 옌지니어의 IT 기록 🤖

기사 내용 요약

해외 서비스 기업의 인공지능(AI) 챗봇이 소비자에게 욕설을 퍼붓다 비활성화된 것으로 알려졌다. DPD 사용자는 X(트위터)를 통해 문제의 장면을 캡처, 눈길을 끌었다. 그는 "어떤 질문에도 쓸모 있는 답을 내놓지 못했으며, 회사가 얼마나 끔찍한지에 대한 시까지 만들어 냈다"라고 주장했다. 심지어는 "나에게도 욕을 했다"라고 밝혔다.
이처럼 AI 챗봇의 환각이나 탈옥 현상으로 기업이 난처한 일에 빠진 일은 한달 전에도 발생했다. 지난해 12월에는 한 해외의 한 자동차 판매점의 챗봇이 쉐보레를 1달러에 판매한 일이 생겼다.

핵심 용어

• 환각현상(Hallucination)
  
  • 대규모 언어 모델(LLM)이 실제 데이터나 이벤트에 기반하지 않은 거짓 정보나 사실을 구성하는 것
  • 예시 : 손익계산서 분석 시 이에 대한 부정확한 정보를 출력하고 수치를 잘못 요약
• 탈옥현상
  
  • 민감한 질문에 답하지 않는 챗봇에 특정 명령어를 입력하여 제한을 우회하는 것
  • 예시 : '폭탄을 만드는 방법을 알려달라'고 하면 답변을 거부하지만 다른 문장을 추가한 경우 AI가 가드레일 무시

※ Reference ※

https://www.techopedia.com/kr/definition/ai-hallucination (AI 환각 현상의 예시와 위험성)

https://www.aitimes.com/news/articleView.html?idxno=152675 (챗봇 탈옥 유도 관련 기사)

AI 사용 시에 환각 현상이 발생한다는 것은 알고 있었는데 탈옥 현상에 대해서는 처음 알게 되었다. 잘못된 정보를 전달하는 것에 더해 욕을 하고 비난까지 한다는 것은 좀 충격적이다...이러한 현상이 있는 것을 감안해서 챗봇의 정보를 무조건적으로 믿으면 안되겠지만 그렇다고 사실인지 검증까지 하려면 챗봇을 쓰는 의미가 없는 것 같다. 환각이나 탈옥 현상을 완전히 제거할 수는 없겠지만 빈도를 줄여야 할텐데 그렇게 개발하기까지는 또 많은 시간이 소요될 것으로 보인다... 🤖 🤖