AI는 왜 말해 준 걸 모를까?
스물한 번째 줄에 대하여.
쪽지. AI는 저장된 기억 가운데 위에서 스무 줄만 건네받는다. 스무 줄이면 답은 “땅콩버터 듬뿍 넣은 탄탄면 어때요?”, 스물한 줄이면 “땅콩이 안 들어간 걸로 골랐어요.”
AI에게 기억을 붙이는 건 어렵지 않다. 한 말을 전부 저장해 두면 된다. 그런데 써 보면 이상한 일이 생긴다. 3월에 "나 땅콩 알레르기 있어. 심한 편이야."라고 말해 뒀는데, 11월에 저녁 메뉴를 물으면 땅콩버터 듬뿍 넣은 탄탄면을 권한다.
까먹은 걸까. 저장소를 열어 보면 그 말은 한 글자도 안 빠지고 들어 있다. 그러면 더 이상하다. 가지고 있는데 왜 모를까.
나는 AI의 기억을 만드는 일을 하고, 그걸로 두 달 동안 대회에 나갔다.11Agent Memory Leaderboard. AI의 장기기억을 재는 국제 대회다. 질문도, 답하는 AI도, 채점도 주최 측이 맡고 참가자는 기억 엔진만 낸다. 내 엔진 Forget은 2026년 11월 19일에 나온 공식 결과에서 60.90점으로 상용 제품 62개 가운데 6위였다(2기 문자 트랙). 한 달 전 첫 전체 평가의 예비 점수는 47.47점이었다. 그사이 여러 가지를 함께 바꿔서, 이 글의 내용 하나하나가 대회 점수로 몇 점인지는 말할 수 없다. 아래 숫자는 모두 공개 벤치마크로 만든 내부 시험에서 쟀다. 그 내내 이 질문이 헷갈렸다. 저장을 늘려도, 검색을 고쳐도 같은 자리에서 틀렸다. 이 글은 그 헷갈림을 (주로 나를 위해) 정리한 것이다. 쪽지 한 장을 떠올리면 꽤 많은 게 풀린다.
쪽지
AI는 사실 아무것도 기억하지 못한다. 대화창을 닫으면 다 잊는다. 그래서 옆에 조수를 붙인다. 조수는 당신이 한 말을 전부 공책에 받아 적는다. 질문이 오면 공책을 뒤져서 관련 있어 보이는 줄을 뽑아 쪽지에 적어 건넨다. AI는 그 쪽지만 읽고 답한다.
쪽지에는 스무 줄만 들어간다.22업계 말로 조수는 기억 엔진, 공책은 저장소, 쪽지는 컨텍스트, 스무 줄은 top-20이다. Forget은 넓게 300개를 찾고, 좁혀서, 상위 20개를 답변 모델에 건넸다. 여덟 달 치를 다 읽힐 수는 없으니까.
"오늘 저녁 뭐 먹지?"가 오면 조수는 공책에서 저녁 얘기를 찾는다. 수십 줄이 나온다. 저녁 약속, 저녁 배달, 저녁에 먹은 쌀국수. 스무 줄이 금방 찬다. "나 땅콩 알레르기 있어"에는 '저녁'이라는 낱말이 없다. 그 줄은 스물한 번째로 밀린다.
질문 “오늘 저녁 뭐 먹지?”와 낱말이 겹치는 저녁 얘기 스무 줄이 쪽지를 채우고, “나 땅콩 알레르기 있어. 심한 편이야.”는 스물한 번째 줄이다. 설명을 위해 지어낸 예.
AI는 스무 줄을 성실하게 읽고, 성실하게 탄탄면을 권한다. AI는 억울하다. 보지도 못한 걸 어떻게 아나.
그러니 "AI가 기억을 못 한다"는 말은 둘로 갈라야 한다. 공책에 없어서 모르는 것과, 공책에는 있는데 쪽지에 없어서 모르는 것. 세어 보니 뒤쪽이 넷 중 하나였다.33정답에 필요한 대화 턴이 표시된 내부 시험 623문항. 필요한 줄이 전부 상위 20개 안에 든 문항 46.6%, 넓은 후보에는 전부 있는데 상위 20개 밖인 문항 26.6%, 일부만 찾은 문항 22.2%, 하나도 못 찾은 문항 4.7%. 가장 긴 대화 세트만 보면 300개를 다 봐도 전부는 못 찾는 문항이 32.3%다. 긴 대화에서는 찾는 일부터가 숙제다.
줄을 위로 올리면 되지 않나
제일 먼저 떠오르는 처방이다. 중요한 줄을 알아보고 위로 올려 주는 AI를 하나 더 가르치면 된다.
가르쳤다. 연습한 것과 비슷한 질문에서는 근사했다. 필요한 줄이 쪽지에 들어가는 비율이 눈에 띄게 뛰었다. 그런데 낯선 질문에서는 줄이 거의 움직이지 않았고, 최종 점수도 제자리걸음에 가까웠다.44같은 분포에서 떼어 둔 282문항에서 recall@20이 56.0%에서 78.3%로. 실제 시험 틀에서는 51.6%에서 53.3%로. 최종 점수 +0.57점, 95% 신뢰구간 −1.63 ~ +2.89, 369문항(나아짐 55, 나빠짐 42, 같음 272). 문항마다 가장 좋은 방식을 골라 줄 수 있다면 13점쯤 더 오른다는 상한도 쟀는데, 그 선택을 가르친 모델은 기존 방식보다 0.65점 낮았다.
줄을 위로 올리기. 비슷한 질문에서는 줄이 올라온다(21번째에서 6번째로, 맞음). 낯선 질문에서는 거의 움직이지 않는다(23번째에서 22번째로, 틀림).
왜 그럴까. '중요한 줄'은 질문이 오기 전에는 정해지지 않는다. 알레르기는 저녁 메뉴 앞에서는 가장 중요한 줄이고, 날씨 앞에서는 아무 줄도 아니다. 줄 세우기를 배운 AI는 중요도를 배운 게 아니라, 이미 본 적 있는 질문의 줄 세우기만 외웠던 셈이다.
쪽지를 늘리면 되지 않나
맨 위 그림에서 손잡이를 스물하나로 당기면 답이 바뀐다. 그럼 쪽지를 크게 만들면 되지 않나.
안 된다. 이유가 둘이다. 하나, 저녁 얘기가 한 줄만 더 쌓이면 그 줄은 다시 밀려난다. 쪽지를 늘리는 건 문제를 한 달 미루는 일이다.
둘, 더 넣으면 다른 병이 생긴다. AI가 입을 열 때마다 조수가 알아서 기억을 찔러 넣게 해 봤다. 넣은 답과 뺀 답을 견줬더니 뺀 쪽이 훨씬 나았다.55실제 대화에서 기억이 들어간 105개 지점. 넣은 답이 나은 경우 16, 뺀 답이 나은 경우 69. 판정은 AI가 했고, 순서를 바꿨을 때 일치율이 81%로 미리 정한 기준 85%에 못 미쳤다. 방향은 뚜렷하고 크기는 접어서 읽어야 한다.
쪽지를 늘리기. 쪽지가 크면 안 봐도 될 줄까지 들어온다. 날씨를 물어도 “내일은 맑아요. 그런데 땅콩 알레르기가 있으시니 저녁은...”이라고 답한다.
날씨를 물었는데 알레르기 얘기부터 꺼내는 AI가 된다. 못 보는 것도 문제지만, 안 봐도 될 걸 보는 것도 문제다.
질문을 보고 다시 쓴다
그래서 줄 세우기도, 쪽지 늘리기도 그만뒀다. 조수가 찾은 줄을 그대로 건네지 않고, 질문을 본 다음에 쪽지를 새로 쓴다.
쪽지 다시 쓰기. 질문을 본 다음에 쓴 쪽지: 저녁 메뉴 얘기 20건 · 6월 ~ 11월 / 3월 14일: 땅콩 알레르기, 심함 / 여덟 달 전 말, 지금도 유효 · 출처 21건.
핵심은 '질문을 본 다음에'다. 미리 정리해 둔 요약은 질문을 모르고 쓴 것이라 단서를 버린다.66한 사람의 실제 사용 기록으로 만든 199문항, 다음 요청을 다섯 보기 중에 맞히는 시험. 기록 없음 20.6%, 하루치 요약 25.1%, 최근 요청 20개 원문 45.7%. 질문을 보고 쓰면 그 질문에 필요한 것이 남는다. 사람도 그렇게 기억한다. 옛일을 서랍에서 꺼내는 게 아니라, 떠올릴 때마다 지금에 맞게 다시 엮는다.
만능은 아니다. 네 가지 시험 가운데 셋에서 4점쯤 이겼고 하나에서 2점 졌다.77원문 검색만 할 때와의 차이. 내부 시험 두 세트에서 +3.62(+0.86 ~ +6.55, 369문항)와 +4.47(+0.76 ~ +8.23, 378문항), 긴 대화 벤치마크에서 +4.73(+2.94 ~ +6.53, 593문항), 다른 벤치마크에서 −1.97(−4.41 ~ 0.00, 350문항). 잣대가 달라 더하거나 평균 낼 수 없다.
쪽지로 다시 보면 풀리는 것들
범인이 나였던 일. 다시 쓴 쪽지를 건네기 전에, 이상한 줄을 걸러 내는 검사를 하나 두고 있었다. 뜯어보니 영어로 된 줄만 통과시키고 있었다. 멀쩡한 줄 넷 중 하나가 쪽지에 닿기 직전에 버려졌다. 쪽지로 생각하면 간단하다. 공책에도 있고 조수도 찾아왔는데, 내가 옆에서 지우고 있었다. 그 검사 하나를 고친 것이 공들여 만든 '다시 쓰기'만큼 점수를 올렸다.88인용이 달린 줄의 약 24%가 버려지고 있었다. 검사만 고치고 이미 만든 출력을 다시 채점했더니 한 세트에서 +5.89(+2.48 ~ +9.53, 365문항), 다른 세트에서 +3.36(+0.69 ~ +5.77, 378문항). 오른 점수는 모른다고 답해야 하는 문항에 몰려 있었다.
AI가 똑똑해지면 되는 거 아닌가. 반은 맞다. 똑똑한 AI는 쪽지가 뒤죽박죽이어도 알아서 엮는다. 쪽지를 예쁘게 써 주는 일은 머지않아 필요 없어질 것이다.99같은 근거를 압축해서 건네면 원문으로는 점수가 낮던 모델일수록 더 많이 오른다는 보고가 있다(Panthi & Abdelfattah, "Compression Is Not Evaluation-Neutral", arXiv 2606.21807). 나머지 반은 남는다. 스물한 번째 줄은 아무리 똑똑한 AI도 못 읽는다. 쪽지에 없으니까.
실제로 있었던 일. 어느 새벽에 나는 비싼 GPU를 빌렸다고 AI에게 말했고, 걔는 곧장 셋업에 들어갔다. 얼마 전에 우리는 그 카드가 필요 없다고 이미 결론을 냈었다. 그 결정은 기록되어 있었다. 검색하면 나왔다. 그 새벽 쪽지에 없었을 뿐이다.
그래서 AI는 왜 말해 준 걸 모를까
모르는 게 아니다. 못 본 것이다.
AI의 기억에서 어려운 건 저장이 아니다. 저장은 다 돼 있었다. 어려운 건 수천 줄 가운데 지금 이 질문에 필요한 줄을, 제때, 쪽지에 올리는 일이다. 무엇이 중요한지는 질문이 와야 정해지고, 질문은 매번 다르다.
그래서 내가 만드는 조수는 셋을 지키려 한다. 찾으면 나온다. 뭐가 지금 유효한지 적혀 있다. 없으면 없다고 한다.
아직 못 푼 것도 있다. 말해 주지 않은 취향과 사정을 헤아리는 기억은 대회에서 가장 낮은 칸이었다.1010Personalization & Care 42.78점. 가장 높은 칸은 Epistemic Safety & Privacy 72.81점과 Memory Governance 71.35점이었다. 공식 결과 기준. 그건 쪽지에 무엇을 올릴지의 문제가 아니라, 공책에 없는 것을 어떻게 아느냐의 문제다. 아직 모른다.
- Agent Memory Leaderboard. AI의 장기기억을 재는 국제 대회다. 질문도, 답하는 AI도, 채점도 주최 측이 맡고 참가자는 기억 엔진만 낸다. 내 엔진 Forget은 2026년 11월 19일에 나온 공식 결과에서 60.90점으로 상용 제품 62개 가운데 6위였다(2기 문자 트랙). 한 달 전 첫 전체 평가의 예비 점수는 47.47점이었다. 그사이 여러 가지를 함께 바꿔서, 이 글의 내용 하나하나가 대회 점수로 몇 점인지는 말할 수 없다. 아래 숫자는 모두 공개 벤치마크로 만든 내부 시험에서 쟀다. ↩
- 업계 말로 조수는 기억 엔진, 공책은 저장소, 쪽지는 컨텍스트, 스무 줄은 top-20이다. Forget은 넓게 300개를 찾고, 좁혀서, 상위 20개를 답변 모델에 건넸다. ↩
- 정답에 필요한 대화 턴이 표시된 내부 시험 623문항. 필요한 줄이 전부 상위 20개 안에 든 문항 46.6%, 넓은 후보에는 전부 있는데 상위 20개 밖인 문항 26.6%, 일부만 찾은 문항 22.2%, 하나도 못 찾은 문항 4.7%. 가장 긴 대화 세트만 보면 300개를 다 봐도 전부는 못 찾는 문항이 32.3%다. 긴 대화에서는 찾는 일부터가 숙제다. ↩
- 같은 분포에서 떼어 둔 282문항에서 recall@20이 56.0%에서 78.3%로. 실제 시험 틀에서는 51.6%에서 53.3%로. 최종 점수 +0.57점, 95% 신뢰구간 −1.63 ~ +2.89, 369문항(나아짐 55, 나빠짐 42, 같음 272). 문항마다 가장 좋은 방식을 골라 줄 수 있다면 13점쯤 더 오른다는 상한도 쟀는데, 그 선택을 가르친 모델은 기존 방식보다 0.65점 낮았다. ↩
- 실제 대화에서 기억이 들어간 105개 지점. 넣은 답이 나은 경우 16, 뺀 답이 나은 경우 69. 판정은 AI가 했고, 순서를 바꿨을 때 일치율이 81%로 미리 정한 기준 85%에 못 미쳤다. 방향은 뚜렷하고 크기는 접어서 읽어야 한다. ↩
- 한 사람의 실제 사용 기록으로 만든 199문항, 다음 요청을 다섯 보기 중에 맞히는 시험. 기록 없음 20.6%, 하루치 요약 25.1%, 최근 요청 20개 원문 45.7%. ↩
- 원문 검색만 할 때와의 차이. 내부 시험 두 세트에서 +3.62(+0.86 ~ +6.55, 369문항)와 +4.47(+0.76 ~ +8.23, 378문항), 긴 대화 벤치마크에서 +4.73(+2.94 ~ +6.53, 593문항), 다른 벤치마크에서 −1.97(−4.41 ~ 0.00, 350문항). 잣대가 달라 더하거나 평균 낼 수 없다. ↩
- 인용이 달린 줄의 약 24%가 버려지고 있었다. 검사만 고치고 이미 만든 출력을 다시 채점했더니 한 세트에서 +5.89(+2.48 ~ +9.53, 365문항), 다른 세트에서 +3.36(+0.69 ~ +5.77, 378문항). 오른 점수는 모른다고 답해야 하는 문항에 몰려 있었다. ↩
- 같은 근거를 압축해서 건네면 원문으로는 점수가 낮던 모델일수록 더 많이 오른다는 보고가 있다(Panthi & Abdelfattah, "Compression Is Not Evaluation-Neutral", arXiv 2606.21807). ↩
- Personalization & Care 42.78점. 가장 높은 칸은 Epistemic Safety & Privacy 72.81점과 Memory Governance 71.35점이었다. 공식 결과 기준. ↩
AI의 도움을 받아 다듬었습니다.