어떤 특정 결론을 내렸을 때, 그 결론 도출의 논리를 기억하고, 추후에 쉽게 바꿀 수 있어야 한다.

언어 모델들은 기억 장치를 가지고 있지 않다. 기억 장치가 아닌, 맥락을 instruction 처럼 읽어서, 맥락에 맞게 문장을 생성한다. 이러한 방식으로는, 한계가 있을 수 밖에 없다. 어떤 text든 타자가 생성한 text와 스스로 도출한 text를 동일하게 받아들이는데, 어떤 반성을 할 수 있겠는가? 또한 도출 논리를 기억하고, 어떻게 재사용 하겠는가?

개인 기억장치를 어떻게 구현할 것이며, 이 기억장치가 외부 기억장치, 즉 인터넷이나, 거대 모델의 파라미터와 차이가 무엇인지 생각해봐야 한다.

만약, 이러한 부분이 고쳐지지 않는다면 언어모델은 장기기억장치만을 바탕으로 일회적인 논리의 도출만이 반복적으로 시행될 뿐이다. 실제로 초기 버전 gpt는 그러한 점이 뚜렷하다고 느꼈다. 인간이라면, 스스로 설명을 하면서, 말을 하면서 배우고 깨닫는 바가 있는데, gpt는 대화가 꼬이면 초기화를 하지 않는 이상 정상적인 대화 진행이 불가능했다.