브렌쏭의 Veritas_Garage

1706.03762 (arxiv.org) : Attention Is All You Need 트랜스포머의 경우 단어들은 토큰 단위로 나뉘어서 임베딩을 거친다.고차원 벡터와 입력된 토큰을 연결지어서 여러 차원에서의 토큰의 의미를 방향으로 저장하게 되는 것. 중요한 점은 사전학습 과정에서 "고양이" 라는 단어가 특정 동물을 의미하는 것이며, 포유류이고 고양잇과의 동물이라고 이미 학습이 되었다 하더라도, 실제 사용과정에서 입력된 "고양이"가 문맥 안에서 어떤 의미를 내포하고 있는지 주의집중해야 한다. 어쩌면 고양이는 실제 집에서 키우는 고양이를 지칭하는 것일 수도 있고어쩌면 실제 동물이 아닌 한 어린아이의 상상 속 친구일 수도,혹여 고양이를 본적없는 누군가가 강아지를 보며 지칭하는 것일 수도 있다."고양이" 라..

https://youtu.be/aircAruvnKk?si=9s-i5K7GvkKbQJ7i 한번에 대학과정으로 쎄리박는 것보단 친근한 방법 같아서 가져왔다.3Blue1Brown 인터렉션 방식의 웹 또한 제공한다. 총 6개 강의에 각 영상의 길이가 짧아서 슥삭 훑기 좋았다. # 1. 아무리 많은 데이터셋도 모두 지정된 크기의 신경망으로 학습할 수 있다.신경망 자체를 학습이 키우거나 줄이진 않는다.Input Layer -> Hidden Layers -> Output Layer중간의 숨겨진 계층에서는 몇개의 계층이 있을지 모른다. 설정하기 나름첫번째 계층에서 입력된 기본 정보를 바탕으로 두번째, 세번째 등등 계층에서 보다 복잡한 형태로 서서히 패턴을 추론해간다.최종적으로 알고싶은 출력레이어는 분류된 결과물이므로 ..