이전부터 가지고 있던 단어에 대한 생각을 정리하고 기록하기 전에 과거 기록을 찾아 보다 일전에 작성한 단어에 대한 소고를 발견했다. 그때부터 가지고 발전시켜온 생각을 정리하려고 한다.

가장 기본적이고 흔한 단어에 대한 생각은 아래와 같은 그림으로 설명된다.

어떤 단어는 단어가 가리키는 대상들의 집합이다. 하지만 우리의 단어에는 명확히 눈에 보이는 실물 외에도 여러 것이 존재하며, 또 어떤 경우에는 컵인지 그릇인지 논쟁처럼 경계가 불분명한 무언가들을 마주하기도 한다.

인간의 머리는 백과사전이 아니고, 그들이 사용하는 언어 또한 그러한 성질을 띠는 것이 아니다. 마치 k-NN 알고리즘처럼 우리가 이전에 결정내려온 정의들에 의해 집합을 이루는 것이다.

하지만 그러기 위해서는 일단 결정내린 정의가 있어야 한다. 보편 타당하게 인정할 수 있는 사회적 정의가 분명 존재한다. 한국 문명권에서 나무라고 불리는 것은 영국 문명권에서도 tree라고 불리는 단어와 정확하게 1대1 매칭된다. 좀 더 전문적인 분야에서는 그러지 못한 것들도 존재하지만, 굉장히 많은 부분에서는 1대1 매칭된다. 그것은 우리가 언어로서 지칭하기 전부터 그들간에 분명하고 독창적이고 남들과 구분되는 차이점이 존재하기 때문일 것이다.

인간으로서 공히 가지고 있는 중요한 능력. 바로 패턴인식 및 범주화 이다.

---

이로써 단어는 모종의 집합을 형성한다. 집합의 원소들은 우리 머릿속에 서로 매우 유사한 공통감을 형성하고, 이들은 원형이 되는 어떠한 템플릿을 형성한다. 이러한 템플릿의 표상, 즉 집합을 인간은 단어로써 정의하고, 또 그 의미를 확장시켜 나간다.

그런데, 이렇게 형성되는 템플릿은 공통감으로부터 발생한다. 그리고 이것은 소름돋게도 임베딩 벡터를 연상시킨다.

벡터 공간 속에 단어를 임베딩하는 과정이 마치 인간이 유사한 사물들을 보고 범주화하여 감각(느낌) 이라는 벡터 공간 속에 임베딩하는 것과 굉장히 유사하다.

그런데 우리의 공통감이라는것은 어떠한 느낌, 즉 감각자극이다. 현재의 벡터공간의 차원들은 각각의 차원들이 아무런 의미를 갖지 못한다. 하지만, 마치 인간처럼 각 벡터 차원이 모종의 감각들과 연결된다면 어떨까?