토큰

토큰이란?

토큰은 하나의 의미 단위를 나타내는 문자 시퀀스다.

대규모 언어 모델(LLM)의 맥락에서 토큰은 텍스트 시퀀스에서 개별 단어 또는 하위 단어를 나타내는 데 사용된다. 텍스트를 개별 토큰으로 분해하는 과정을 토큰화라고 한다.

자연어 생성(NLG)에서 토큰은 머신러닝 모델이 텍스트 시퀀스의 요소 사이에 존재하는 모든 관계를 더 쉽게 학습할 수 있도록 입력으로 사용된다. 이 접근 방식을 사용하면 모델이 텍스트의 구조와 의미를 모두 파악하는 방식으로 텍스트를 처리할 수 있다.

테코피디아가 설명하는 토큰

네트워킹에서 토큰이라는 단어는 다른 의미를 가진다. 토큰은 링 네트워크에서 노드에서 노드로 전달되는 특수한 프레임이다. 토큰이 데이터를 전송해야 하는 노드에 도달하면 노드는 토큰을 데이터 프레임으로 변경하여 수신자에게 전송한다.

토큰은 토큰 링 네트워크의 내부 작동에 필수적이다. 토큰은 한 번에 하나의 노드만 처리할 수 있다. 토큰의 소유자는 네트워크에서 네트워크 내의 수신자 노드로 데이터를 전송할 수 있는 유일한 사람이다. 토큰의 소유자는 수신자의 주소와 전송할 데이터를 기록한 다음 시리즈의 다음 노드로 전송한다.

발신자 노드가 토큰을 다음 노드로 보내면 해당 노드는 주소를 읽는다. 해당 노드가 의도한 수신자가 아닌 경우, 다음 노드로 데이터를 전송하는 식으로 데이터를 전송한다. 마지막으로 수신자 노드가 데이터를 읽고 수신자가 수신자임을 확인하면 데이터를 가져와서 데이터를 받았다는 메시지와 함께 토큰을 발신자의 주소로 다시 보낸다. 그런 다음 토큰은 다시 링을 돌며 토큰 발신자/소지자에게 도달할 때까지 전송된다. 토큰을 사용한 노드는 다른 노드가 토큰을 사용할 수 있도록 토큰을 네트워크에 다시 릴리스한다.

토큰 링 전송은 느린 과정처럼 보이지만, 데이터 통신이 빠르게 이루어지기 때문에 사용자는 이를 거의 알아차리지 못한다.