의심되는 문제는 두가지이다. 하나는 prefix로 붙인것. residual(resnet처럼)로 더해야 맞지않나?

다른건 loss 산출과 학습에 문제가 있다는 것이다. 글자 순서별로 loss를 전파하는 상황이라면, 앞에 prefix를 넣은게 성능을 끌어내리고 있을것이다.

다음은 시도할만한 아이디어인데 RNN을 차용해서 히든을 가져다 쓰는건 어떤가