GloVe: Global Vectors for Word Representation

저자: 제프리 페닝턴, 리처드 소처, 크리스토퍼 D. 매닝
소속: 스탠퍼드 대학교 컴퓨터 과학과, 스탠퍼드, CA 94305
이메일: jpennin@stanford.edu, richard@socher.org, manning@stanford.edu

초록

최근 단어의 벡터 공간 표현을 학습하는 방법들은 미세한 의미론적 및 구문론적 규칙성을 벡터 연산으로 포착하는 데 성공했지만, 이러한 규칙성이 발생하는 원인은 여전히 불분명했습니다. 우리는 단어 벡터에서 이러한 규칙성이 나타나기 위해 필요한 모델 특성을 분석하고 명시적으로 제시합니다. 그 결과로, 문헌에서 주로 사용되는 두 가지 모델 패밀리인 전역 행렬 분해(global matrix factorization) 방법과 지역 콘텍스트 윈도우(local context window) 방법의 장점을 결합한 새로운 **전역 로그-쌍선형 회귀 모델(global log-bilinear regression model)**을 제안합니다.

우리의 모델은 희소 행렬 전체나 대용량 코퍼스의 개별 콘텍스트 윈도우를 처리하는 대신, **단어-단어 동시 발생 행렬(word-word co-occurrence matrix)**의 0이 아닌 요소만을 학습함으로써 통계적 정보를 효율적으로 활용합니다. 이 모델은 의미 있는 하위 구조를 가진 벡터 공간을 생성하며, 최근 단어 유추 작업에서 75%의 성능을 보입니다. 또한 유사성 작업과 개체명 인식(NER)에서도 관련 모델들을 능가합니다.