Few-shot, One-shot, Zero-shot을 생각해보면, 모델이 task를 이해할 수 있는가와 관련되어 있다. 모델은 능력이 없는게 아니다. 정확한 코딩이 필요한 컴파일러도 마찬가지다. 능력이 없지 않다. 무엇을 할지 모르는 것이다. 코딩은 정확한 지시를 내리는 방법이다.

언어모델들도 마찬가지다. 그렇다면, gpt2에서 gpt3로 갈때, 단순히 파라미터 수를 무지막지하게 늘린 것은, 인간들의 언어적 context를 컴퓨터가 이해하도록한 것이라고 말할 수 있으리라.

---

그래서 파라미터 수를 늘려서 언어적 맥락을 이해시킨 방식은 무엇이냐? 내 생각엔 지식을 늘린 것 같다. 대충 아는게 많아지면, 똑똑해지는 것과 유사한 일이 벌어진다고 말할 수 있으리라. 하지만, 이게 최선인가? 그건 아닐 것이다. 지혜를 늘리는 방법이 뭔가 있을 것이다.