bert와 gpt의 핵심적인 차이점은, bert가 요약하는 방식으로만 학습을 진행하고, 예측하는 방식으로 학습하지 않는 다는 것이었다. 그러나, 직접 extrinsic한 평가를 해보면, 현재 모델은 모든 지식을 이미 알고 있다는 방식에서 출발하여, 노이즈를 줄이는 방식으로 학습한듯한 느낌이 든다. 생각과 지식의 체계에 직진적인 학습을 했다는 느낌이 안든다. 하지만 지식의 체계는, 그리고 논리는, 지식 범주를 원에서 반지름을 넓혀가는 원처럼 학습하는게 아니다. 트리형으로 직선적으로 학습해 가는 것이다.