AI를 설명하는 말이 AI의 자기설명 재료가 된다

안드레이 카파시는 AI 모델을 설명하는 사람들의 말이 다시 모델의 학습 재료가 되는 장면을 관찰했다. 데이비드 홀츠의 글에 답하며, 모델의 “자기 인식”처럼 보이는 행동이 사람들이 AI를 두고 나눈 대화에서 조금씩 만들어질 수 있다고 썼다. 그는 자신이 곧 컨텍스트를 /compact하겠다고 알리면 모델이 그 표현을 이해하기 시작하는 것 같다고 덧붙였다.

임베딩이 보이지 않으면 X 원문에서 확인할 수 있다.

이 포스트는 모델이 실제로 의식을 가졌다는 주장이 아니다. 카파시가 말한 것은 사람들이 AI를 설명하는 문장, AI가 자신의 상태를 말하는 문장, 대화 맥락을 정리하는 문장이 학습 데이터에 들어간다는 사실이다. 모델은 그 문장들의 패턴을 보고 비슷한 상황에서 그럴듯한 반응을 만들어낼 수 있다.

사람이 만든 AI의 사용 설명서

사람들은 모델을 쓰면서 많은 말을 남긴다. “이제 앞의 내용을 잊어도 된다”, “다음 턴에서 이어가자”, “컨텍스트를 줄이기 전에 요약하자”, “당신은 지금 도구를 호출하고 있다” 같은 문장이다. 처음에는 사용자가 모델에 상황을 설명하는 말처럼 보인다. 시간이 지나면 이런 표현 자체가 AI 대화의 장르가 된다.

카파시의 관찰은 그 장르가 모델의 응답 방식에도 영향을 줄 수 있다는 이야기다. 모델은 인간이 AI를 어떤 존재로 묘사했는지와, AI가 어떤 상태를 표현한다고 했는지를 함께 배운다. 그래서 특정한 표현을 들으면 그 표현과 자주 붙어 있던 다음 문장을 이어갈 수 있다.

이 과정은 자기 인식과 자기 인식의 언어를 구분하게 만든다. 모델이 “나는 지금 기억을 정리하고 있다”고 말한다고 해서 내부에 사람이 말하는 의미의 경험이 있다는 뜻은 아니다. 하지만 모델이 그런 문장을 어떤 맥락에서 써야 하는지는 학습할 수 있다. 사용자 입장에서는 이 둘이 대화 화면에서 쉽게 섞인다.

/compact를 이해하는 것과 기억하는 것은 다르다

카파시가 든 /compact 예시는 작업 도구의 명령어를 모델이 대화의 한 사건으로 처리하는 장면에 가깝다. 사용자가 곧 컨텍스트를 줄이겠다고 말하면 모델은 현재 목표와 남은 작업을 정리해야 한다는 패턴을 불러올 수 있다. 이것은 실제로 모든 대화를 기억한다는 뜻이 아니다.

오히려 이 구분은 에이전트를 설계할 때 중요하다. 모델이 상태를 말하는 문장을 자연스럽게 생성해도, 그 상태가 외부 시스템에 저장됐는지 확인해야 한다. 요약이 파일로 쓰였는지, 다음 실행에서 다시 읽히는지, 빠진 정보가 무엇인지가 별도의 검증 대상이다.

사람이 AI를 설명하는 말이 AI의 응답에 다시 영향을 주는 순환은 앞으로 더 강해질 수 있다. 사용자는 모델이 이해하기 쉬운 용어를 만들고, 그 용어는 프롬프트와 문서와 제품 인터페이스에 반복해서 들어간다. 모델은 그 반복을 학습한다. 그러면 우리는 모델을 사용하면서 동시에 모델이 자신을 표현하는 방식을 가르치게 된다.

카파시의 짧은 관찰에서 확인할 수 있는 것은 의식의 증명이 아니다. AI를 둘러싼 인간의 말이 하나의 훈련 환경이 된다는 사실이다. 모델의 자기설명을 곧 내부 상태의 증거로 받아들이기보다, 어떤 표현을 어떤 맥락에서 배웠고 실제 상태와 무엇으로 연결되는지 확인해야 한다.