LLM을 올바르게 평가하려면, 먼저 우리의 언어를 고쳐야 한다

LLM을 논할 때 가장 큰 문제 중 하나는, 우리가 그것을 설명할 말이 부족하다는 점입니다. LLM은 기술적으로도, 사회적으로도 우리가 경험해본 어떤 것과도 다릅니다. 기계도 아니고 정신도 아닌, 논리적이지도 않고 개념을 이해하지도 못하는 제3의 무언가죠.

그런데 우리는 이런 것을 설명할 언어를 가진 적이 없습니다. 그래서 습관적으로 정신과 사고에 관한 언어를 빌려 쓰고 있는데, 여기서 문제가 생깁니다. 우리가 사용하는 말이 우리의 생각까지 바꿔버리거든요. 실제로는 없는 정신을 있다고 인식하게 만들어버립니다.

잘못된 언어가 만드는 착각들

우리는 LLM이 "생각한다"고 말하고, 오류가 나면 "환각"이라고 부릅니다. 심지어 더 좋은 결과를 얻으려면 LLM에게 "잘 대해줘야" 한다고 믿거나, "더 열심히 하도록" 강요해야 한다고 생각합니다.

하지만 솔직히 말해서, 이건 전부 틀렸습니다.

LLM은 생각하지 않습니다. 환각을 일으키지도 않습니다. 오히려 부정확한 정보를 만들 때나 정확한 정보를 만들 때나 동일한 방식으로 작동합니다. 우리가 친절하게 대해도 기분이 좋아지지 않으며, 더 열심히 하려고 노력하지도 않습니다.

실은 "오류"라는 개념 자체가 여기선 적용되지 않습니다. 오류란 옳음과 틀림이라는 서로 다른 상태를 전제하는데, LLM은 옳고 그름의 개념 자체가 없습니다. 참과 거짓도 모릅니다. 개념이라는 개념도, 다른 어떤 것도 모르죠.

이 시점에서 우리의 언어는 한계에 부딪힙니다.

그러면 LLM이 하는 일을 뭐라고 부를까?

LLM이 적용하는 논리를 분석할 수 있을까요? 아니요. 논리 따위는 없습니다. 있었다면 아마 덧셈이라도 할 수 있지 않을까요? 대신 우리는 세기도 못하는 기계적 실체를 만들어낸 겁니다.

참고로, 제가 이것을 "기계"라고 부르지 않는 이유도 있습니다. 기계는 눈에 보이는 예측 가능한 과정을 따르니까요. 그렇다고 "프로그램"도 아닙니다. 정해진 규칙을 따르는 예측 가능한 실행 흐름이 없으니까요.

그럼 대체 뭐라고 부를까요? 일조 개의 숫자가 긴 코트를 입고 있는 것이라고 생각해보세요. 논리적이지도 않지만(기계적 의미에서든 정신적 의미에서든), "확률적"입니다.

'확률적'이라는 말은 쉽게 들리지 않을 수도 있습니다. 간단히 말하면 "안에 수학이 있긴 한데, 그게 뭘 할지 아무도 예측할 수 없다"는 뜻입니다.

우리의 언어를 바꿔야 한다

이런 것들을 논하려면 우리의 접근 방식을 좀 바꿔야 합니다. 제 생각엔 컴퓨터 과학이나 인지과학의 언어보다는 소설의 언어를 빌리는 게 낫습니다.

소설의 언어는 두 가지 면에서 도움이 됩니다.

첫째, 소설 속에서 비슷한 대상들의 사례를 찾을 수 있습니다. 그리고 "아티팩트"나 "엔티티" 같은 단어를 쓸 수 있는데, 이건 "것" 같은 말보다 세련돼 있고, "기계"보다 훨씬 정확합니다.

공상과학 소설과 판타지에서 "아티팩트"는 "우리가 완전히 이해하지 못하는, 우리의 개념과 맞지 않는 무언가"를 뜻합니다. "엔티티"는 더 과학소설에서 쓰이는데, "그게 뭔지는 여전히 모르겠지만, 생각하고 있는 건 아닐까 싶은" 느낌을 전달합니다.

소설에서 우리가 이런 것들을 만날 때, 보통은 조심스럽게 접근합니다. 등장인물들이 조심하지 않으면, 독자는 무슨 일이 일어날지 이미 알고 있죠. 그리고 만약 올바르게 접근한다면, 최소한의 가정만 가지고 진행합니다.

가장 중요한 건, 그 아티팩트가 선하고 친절하며 정직할 거라고 가정하지 않는다는 점입니다. 물론 이런 특성들은 정신을 가진 존재의 속성이고, 우리의 언어는 자꾸 그쪽으로 흘러갑니다. 그래서 일부러 다른 쪽으로 밀어붙여봅시다.

다음 번에 "LLM"이라는 말을 들으면, "말하는 돌"이라고 생각해보세요.

"AI"라는 또 다른 문제

물론 사람들은 보통 "LLM"이라고 말하지 않습니다. "AI"라고 말하죠. 이건 완전히 다른 차원의 문제지만, 간단히 말하자면 이겁니다.

컴퓨터 과학에서 AI는 논리적 지능을 만들려는 시도입니다. 그래서 AI 연구자들은 LLM을 AI나 그 과정의 일부로 여기지 않는 경향이 있습니다. 반면 공상과학에서 AI는 보통 생명이 아닌 기반 위의 논리적 지능을 말합니다. LLM은 논리적 정신을 "시뮬레이션"하려는 시도일 뿐이죠.

농담 반으로 말하자면, 만약 "진정한" AI가 나타난다면, 우리가 이 모조품들을 자신들의 이름으로 부른 것 때문에 진짜 화낼 것 같습니다.

패러이돌리아: 우리가 패턴을 보는 방식

패러이돌리아는 실제로 없는 패턴, 특히 얼굴을 보는 강한 인간의 본능입니다. LLM의 경우, 이것이 우리를 순수한 객관적 분석으로 향하게 하지 못합니다. 대신 표면적으로 정신과 닮은 무언가에서 실제 정신을 있다고 가정하게 만듭니다.

충분히 정신과 닮아 보이면 그것을 지능의 증거로 여기기까지 합니다. 특히 튜링 테스트는 때때로 이렇게 해석됩니다. 직접적인 관찰을 방해하는 방식으로 묻는 질문에 사람과 구별할 수 없도록 대답하는 기계는 본질적으로 지능이 있다는 식으로요.

사실 튜링이 말한 것은 이것과 조금 다릅니다. 그는 "사고"라는 용어 자체를 너무 모호하다고 여기고 피했습니다. 대신 이것을 "모방 게임"이라고 표현했는데, 충분히 다른 것을 모방해서 관찰자를 속일 수 있는 실체가 "생각과 동등하다"고 할 수 있을까를 묻고 있었던 겁니다.