[용어사전] AI 환각 현상

 

AI 환각 현상 (할루시네이션) 

 

 

AI 환각 현상은 생성형 AI가 사실이 아니거나 실제로 존재하지 않는 정보를 마치 사실인 것처럼 말하는 현상을 의미합니다. 

 

할루시네이션 (hallucination) 은 국립국어원의 풀이에 따르면 '허위생성'이라는 뜻인데요. 의미와 용례에 대해서 인공지능이 거짓이거나 맥락과 관련없는 내용을 생성하는 것이라고 정의하고 있습니다. 

 

AI환각 현상이 발생하는 것은  AI가 거짓말을 하는게 아니라 인공지능은 참, 거짓 필터가 없기 때문에 발생합니다.  

구체적으로 할루시네이션이 발생하는 원인은  학습데이터의 한계, 맥락 이해 부족, 알고리즘의 한계, 프롬프트의 모호함 이라는 네 가지 이유로 발생합니다.  

 

1. 학습데이터의 한계 : AI가 대량의 데이터에서 패턴을 학습하지만, 데이터의  오류나 편항이 있으면 부정확한 정보를 생성하는 것 

2. 맥락 이해부족 : 통계적 패턴에 의존해서 인간의 언어 뉘앙스나 복잡한 문맥을 완벽하게 이해하지 못하는 현상
3. 알고리즘의 한계 : AI가 확률적으로 가장 그럴듯한 단어를 선택해 문장을 구성하는데, 이 과정에서 실제 사실과 다른 내용을 만들어내는 것

4. 프롬프트 (입력)의 모호함 :  질문의 명확하지 않거나 정보가 부족할때 AI가 잘못된 정보를 생성하게 되는 것

 

 

※ 이미지출처 : Unsplash 의 Rubidium Beach

 

AI 환각의 대표 사례

유명인의 가짜 사망 기사, 역사절 사실 왜곡, 잘못된 금융보고서 등의 사례가 나타나고 있습니다. 

 

구체적인 사례로는  2023년 2월의 마이크로소프트사의 사례입니다. 마이크로소프트사에서는 미 워싱턴주 본사에서 기자들 앞에서 생성형 AI인 빙(Bing) 출시를 발표하였는데요.  당시 초청된 현지 기자들 앞에서 기능 시연을 위해 의류기업 갭(Gap)의 지난해 3분기 실적의 핵심을 요약해 달라고  AI에게 요청하였습니다.  AI는 영업이익률이 총 마진율은 37.4%, 영업마진율은 4.6%라고 응답했으나, 실제 실적 보고서에 담긴 총 마진율과 영업마진율은 각각 38.7%와 5.9% 였습니다. 이는 위에서 언급한 바와 같이 수집한 데이터의 문제가 있었기 때문입니다. 

 

하지만 당시 현장에서는 환각현상 때문에 아무도 이를 눈치채지 못했다고 합니다. 이에 2024년 9월, 마이크로소프트가 신뢰할 수 있는 AI 구축을 위한 신규 기능을 발표하여, 보안원칙과 기술을 활용하여 환각현상을 없애고, 데이터 유출 등의 우려를 사전에 방지하겠다고 밝혔습니다.

 

AI 환각 현상을 방지하려면 

생성형 AI 환각현상을 최대한 줄이는 방법은 관심사, 참고자료 등을 입력해서 명확하고 구체적을 질문하는 방법과  환각현상을 AI가 검토할 수 있게 결과물에 대한 추가 질문을 하는 방법이 있습니다. 특히 공식적인 발표가 필요하거나 자신의 위신이 걸린 문제가 걸린 사안이라면, AI 환각현상을 방지하기 위해서 사람이 직접 내용을 검토해서 내용을 체크하는 작업이 반드시 필요하겠습니다. 

 

※ 이미지 출처: AI생성 이미지