목록주의집중 (1)

브렌쏭의 Veritas_Garage

[3Blue1Brown] Attention

1706.03762 (arxiv.org) : Attention Is All You Need 트랜스포머의 경우 단어들은 토큰 단위로 나뉘어서 임베딩을 거친다.고차원 벡터와 입력된 토큰을 연결지어서 여러 차원에서의 토큰의 의미를 방향으로 저장하게 되는 것. 중요한 점은 사전학습 과정에서 "고양이" 라는 단어가 특정 동물을 의미하는 것이며, 포유류이고 고양잇과의 동물이라고 이미 학습이 되었다 하더라도, 실제 사용과정에서 입력된 "고양이"가 문맥 안에서 어떤 의미를 내포하고 있는지 주의집중해야 한다. 어쩌면 고양이는 실제 집에서 키우는 고양이를 지칭하는 것일 수도 있고어쩌면 실제 동물이 아닌 한 어린아이의 상상 속 친구일 수도,혹여 고양이를 본적없는 누군가가 강아지를 보며 지칭하는 것일 수도 있다."고양이" 라..
[Project_하다]/[Project_공부] 2024. 7. 5. 14:38
Prev 1 Next