In deep learning, “logits” refer to raw, unnormaized output of a layer in a neural network before it undergoes a final activation function.

딥러닝에서의 로짓의 의미는 위와 같다. 선형 출력값을 활성화함수를 통해 변환시키기 전, 단순한 선형 출력값을 로짓이라 하는 것이다. 예컨대 소프트맥스softmax함수를 사용하기전의 출력값이 s = [2, 1, 0] 라고 하자. 그렇다면, 여기서 2, 1, 0이 로짓이고, 이를 소프트맥스를 통해 적용하면,

이렇게 된다.

하지만, 통계와 회귀 모델에서는 다른 의미로 쓰이는 것을 볼 수 있다. logits = log(odds) 의 의미로 쓰이며, 로짓은 로그 오즈의 준말이다. 여기서 odds = p/(1-p) 를 의미한다.

왜 동일한 용어를 다른 방식으로 사용하는 것일까? 내가 내린 결론은 통계에서 시작된 로짓이라는 용어가 먼저 시그모이드sigmoid함수에서 사용되었고, 이 용어를 딥러닝에서 여러 활성화함수에 대해 사용하며 의미가 확장되었다는 것이다. 위와 같은 로짓은 확률이 주어져 있을때, L값을 구하는 것이다. 하지만, 시그모이드 함수의 목표는 출력값을 확률로 해석하는 것에 있다. 따라서 p에 대해 정리하면 다음과 같다. 이것이 바로 로지스틱 함수의 정체이다. 즉, 로지스틱 함수는 출력값을 로짓으로 바라보고, 확률로 변환하는 것이다.