ViT는 이미지를 여러개의 패치로 나눈 후, 각 패치를 토큰화하여 다루는 아이디어다.

마찬가지로 동작 또한 여러개의 패치로 나눈 후, 토큰화하여 다룬다면 어떨까? 우리는 수십년간 해온 걷기동작, 물마시기 등에 큰 생각을 하지않는다. 일종의 습관이 하나의 패치로 굳어진다. 동적으로 패치의 길이가 제어될 수 있고, 중간에 브레이크를 걸 수도 있을 것이다.

+ViT는 인코더만을 쓴다. 디코더를 이용하면 이미지 생성 및 노이즈제거 모델이 될 수 있을것이다.