GPT는 Unidirectional이다. 생성함에 있어서, 한번에 여러단어씩을 다루면 어떨까? 예컨대, 2~3단어씩 생성하는 것이다. 생성한 다음, 다른 방식으로도 생성해보고, 또 다른 방식으로도 생성해보고 (이때 유동적으로 2단어 또는 3단어 생성 - 단어 수가 달라도 같은 층위로 비교 한다.) 이렇게 짜여진 다음 단어 뭉치(말하자면) 후보들을 경쟁시킨 다음, 한가지를 도출한다.

Transfer Learning

Pre-training Fine-tuning

Fine-tuning vs Feature Extraction

솔직히 뭔지 잘 모르겠다. -역전파에 대해서 잘 모르기 때문에 이해하지 못한것 같다.