LLM의 출력 방식을 알아야 AI의 거짓말을 간파할 수 있다!
2026년 현재, 우리는 AI와 대화하는 시대에 살고 있지만, 막상 사용해 보면 원하는 결과가 나오지 않거나 잘못된 정보를 접하는 경우도 많다. 이는 거대언어모델(LLM)의 학습 방식과 작동 원리를 이해하지 못했기 때문이다. LLM의 원리를 아는 것이 인공지능을 더 똑똑하게 활용하고, 차별화된 결과물을 만드는 출발점이다.
1. LLM의 출력 방식: 확률로 그럴 듯한 문장을'예측'
LLM(거대언어모델)이란 인류가 작성한 거의 모든 텍스트를 학습한 ai라고 할 수 있다.
수조 개의 문장을 읽으며 단어와 단어 사이의 상관관계를 파악하는데 탁월하다.
예를 들어 "인공지능 기술의 핵심은 [ ]이다"라는 문장이 있다면, 그 뒤에 '데이터'나 '알고리즘'이라는
단어가 올 확률을 계산하고, 문맥 속에서 빈칸에 올 가장 적절한 단어를 확률적으로 예측하며 문장을 완성해
나가는 것이다..
2. 환각 현상(Hallucination): 왜 거짓말을 할까?
이 AI는 모르면 '모릅니다.'라는 답변을 하도록 학습된 인공지능이 아니다. 단순히 '확률적'으로
가장 적절한 단어들을 나열할 뿐이다.
그래서 모르는 내용을 물어봐도 자신이 배운 확률 지도 안에서 가장 자연스러운 문장을 조합하려
노력하기 때문에 존재하지 않는 인물이나 가짜 뉴스, 있지도 않은 논문 제목이 만들어지게 된다.
사용자가 해당 내용의 출처를 알려달라고 해도 그럴듯한 가짜 출처를 만든다.
이러한 현상을 '환각 현상(Hallucination)'이라고 부른다.
특히나 논문의 날짜, 각종 통계 수치 등 숫자를 담은 정보에서 환각 현상이 극심하다.
3. 실행 가능한 해결책: ai 결과물 검토 필수 사항 3가지
이런 환각 현상을 알아차릴 수 있도록 항상 ai에게 받은 결과물은 다음 3가지는 꼭 검토해야 한다.
① 데이터의 실재성 교차 검증 (Fact Check)
AI가 언급한 특정 수치, 통계, 역사적 사건, 혹은 고유 명사는 반드시 별도의 검색을 통해 확인해야 한다.
- 방법: AI가 인용한 수치가 최신 통계와 일치하는지, 언급된 기관이나 인물이 실존하는지 구글링이나 전문 검색 도구를 통해 교차 검증하면 된다. "이 정보의 출처를 알려줘"라고 AI에게 다시 묻는 습관도 도움이 되지만, 꼭 그 출처가 존재하는지까지 직접 들어가서 확인하도록 한다.
② 논리적 정합성 검토 (Logical Consistency)
긴 분량의 글을 작성할 때 AI는 앞부분의 설정과 뒷부분의 결론을 서로 다르게 말하는 실수를 저지르곤 한다.
- 방법: 글의 도입부에서 제시한 전제와 결론의 논리가 매끄럽게 이어지는지 확인해야 한다. 문단 사이의 인과관계가 어색하다면 AI가 전체 맥락을 놓치고 단어 위주로 문장을 구성했을 가능성이 크다. "너는 꼼꼼한 팩트 체크 전문가야"와 같이 AI에게 정체성을 부여해 줌으로써 환각 현상을 줄일 수 있다.
- 또한 이러한 리스크를 줄인 perplexity 나 논문 기반의 라이너( liner)를 사용하는 것도 깔끔한 해결책이 될 수 있다.
③ 최신 정보의 정확성 확인 (Recency Check)
모든 AI 모델은 데이터 학습이 멈춘 시점이 존재한다.
- 방법: 어제 발생한 뉴스, 최근에 변경된 정책, 혹은 아주 최신의 기술 정보는 AI가 정확히 알지 못할 수 있다.
- 최신성이 중요한 정보일수록 AI의 답변에 의존하기보다 공식 문서를 직접 확인하는 과정이 필요하다.
LM의 작동 원리를 이해하지 못하면 프롬프트 설계는 감에 의존하게 된다.
다음 글에서는 오늘 다룬 원리를 바탕으로 한 프롬프트 엔지니어링에 대해 자세히 설명하겠다.