브렌쏭의 Veritas_Garage

AI 엔지니어링 1일차기본적인 윈도우 상에서의 파이썬 세팅파이썬 설치git 설치vscode 설치vscode에서 git 사용하기vscode에서 파이썬 개발환경 세팅하기colaboratory 사용하기github 사용하기개발자로서의 커리어 패스 ... etc네줄리뷰_FLR사실(Facts): 개발환경 세팅 및 기본적인 사용법을 익힘발견(Discovery): 그 속에서 알게된 점은 무엇인지배운점(Lesson Learned): 어떤 점을 배웠는지선언(Daclaration): 배우고 알게 된 점을 바탕으로 앞으로 무엇을 하고 싶은지

성능,  용량, 비용 의 황금비컴퓨터를 미지가 아닌 분석의 대상으로 볼 수 있으며, 위의 3가지 요소를 고려하며 코드를 작성하는 것이 컴퓨터 구조를 공부하는 이유이다.컴퓨터 구조의 큰 그림데이터: 숫자, 문자, 이미지 등의 정적 정보명령어: 컴퓨터를 실행시키는 정보"1 과 2 를 더하라"-> 데이터는 1, 2-> 명령어는 두 숫자를 더하라 컴퓨터의 핵심 부품: CPU, RAM, 보조기억장치, 입출력장치RAM은 주기억장치라고도 지칭한다. 보조기억장치의 경우에는 ROM. 4가지의 부품은 보통 메인보드, 마더보드를 매개로 연결된다. RAM, 현재 실행되는 프로그램의 명령어와 데이터를 저장한다반대로 현재 실행되고 있지 않은 데이터와 명령어들은 ROM에 저장된 채로 있다. 메모리 주소RAM에는 저장소의 위치인 주..

딥러닝과 확률론이전에 언급했던 Loss function 은 L1, L2 Norm의 공식을 이용한다.회귀분석에서 예측오차의 분산을 가장 최소화하는 방향으로 학습하도록 유도 (L2 Norm)분류문제에서는 교차엔트로피를 사용하여 모델예측의 불확실성을 최소화하는 방향으로 학습을 유도한다.확률분포 : 데이터의 초상화데이터 공간은 x * y 라고 표기하고 D는 데이터 공간에서 데이터를 추출하는 분포데이터는 확률변수로 (x, y)~D 라고 표기이산확률변수 VS 연속확률변수Discrete: 이산형Continuous: 연속형각 데이터 공간으로 인해 결정되는 것이 아니다.확률 분포의 종류에 따라 결정되는 것.이산확률변수확률변수가 가질 수 있는 모든 경우의 수를 고려해 확률을 더해서 모델링한다.연속확률변수데이터 공간에 정의..

1706.03762 (arxiv.org) : Attention Is All You Need 트랜스포머의 경우 단어들은 토큰 단위로 나뉘어서 임베딩을 거친다.고차원 벡터와 입력된 토큰을 연결지어서 여러 차원에서의 토큰의 의미를 방향으로 저장하게 되는 것. 중요한 점은 사전학습 과정에서 "고양이" 라는 단어가 특정 동물을 의미하는 것이며, 포유류이고 고양잇과의 동물이라고 이미 학습이 되었다 하더라도, 실제 사용과정에서 입력된 "고양이"가 문맥 안에서 어떤 의미를 내포하고 있는지 주의집중해야 한다. 어쩌면 고양이는 실제 집에서 키우는 고양이를 지칭하는 것일 수도 있고어쩌면 실제 동물이 아닌 한 어린아이의 상상 속 친구일 수도,혹여 고양이를 본적없는 누군가가 강아지를 보며 지칭하는 것일 수도 있다."고양이" 라..

GPT, what is it? -> Transformer중요한 것은 Transformer라는 용어이다.맥락과 단서를 제공하면 그에 걸맞는 다음 내용을 예측하고 가장 '어울릴 것이라 생각하는 것'을 도출한다. 굉장히 단순하게 말하자면 네이버나 구글과 같은 검색엔진의 "검색어 자동완성"을 생각해보자위 예시의 경우에서, 순서대로 가장 높은 예측도라고 가정해보자.san 을 집어넣으면 francisco가 뒤에 올것이라 예측한다.그럼 이제 san francisco를 넣고 다시 예측을 시킨다.그러면 이제 san francisco 뒤에 weather라는 글자를 예측할것이다.그럼 다시 san francisco weather까지 적어서 다시 예측을 시킨다.그럼 이제 san francisco weather is 라는 답을 ..

"각 오차는 오차함수가 얼마나 각 가중치 및 편차에 민감한지를 나타낸다"  조작 가능한 것은 Weight 와 Bias 다여러 레이어로 이루어져있다면 그 이전의 활성치 값 또한 그 값을 정하는 이전의 가중치와 편향치를 조작해 바꿀 수 있다.각 뉴런들은 이전의 모든 뉴런들과 연결되어 있다는 점을 통해 출력에서 부터 거꾸로 영향력을 변경 가능하다. 이렇게 역으로 그 과정을 찾아 적절한 가중치와 편향치를 정하는 것을 Backpropagation이라고 한다.Backpropagation최종 출력층의 뉴런은 그 이전 계층의 뉴런들의 활동의 결과이므로, 원하는 최종 출력을 얻기 위한 조절 값을 알아낼 수 있다.동시에 모든 훈련 데이터에 대한 "적절한 조절값"을 찾는 것은 몹시 오래 걸리고 많은 계산을 필요로 한다.Mi..

https://youtu.be/aircAruvnKk?si=9s-i5K7GvkKbQJ7i 한번에 대학과정으로 쎄리박는 것보단 친근한 방법 같아서 가져왔다.3Blue1Brown 인터렉션 방식의 웹 또한 제공한다. 총 6개 강의에 각 영상의 길이가 짧아서 슥삭 훑기 좋았다. # 1. 아무리 많은 데이터셋도 모두 지정된 크기의 신경망으로 학습할 수 있다.신경망 자체를 학습이 키우거나 줄이진 않는다.Input Layer -> Hidden Layers -> Output Layer중간의 숨겨진 계층에서는 몇개의 계층이 있을지 모른다. 설정하기 나름첫번째 계층에서 입력된 기본 정보를 바탕으로 두번째, 세번째 등등 계층에서 보다 복잡한 형태로 서서히 패턴을 추론해간다.최종적으로 알고싶은 출력레이어는 분류된 결과물이므로 ..

경사하강, Gradient Descent Calculation SpeedProximityLevelNumerical gradientslow 😢approximate 😢Easy to Write 🤩Analytic gradientF A S T 🤩Exact 🤩error-prone 😢 So, Analytic gradient is better  어쨌든 확률 + 표본을 통한 해석적 경사하강법을 이용하는 것이 효율적이다.함수가 복잡해지면 복잡해질수록 각 표본이 기하급수적으로 늘어나므로 훨씬 이득이라고 할수있으며, 최신 방식을 일일히 경사하강법으로 구하고 있다면 연산량이 너무 많아진다. Back Propagation : 역전파함수에 대한 computational graph를 제작한다각 local gradient를..

손실 함수(Loss Function)는 기계 학습 모델의 성능을 측정하는 데 사용되는 함수이다.왜 이름이 이따구냐 생각이 들지만, 모델의 예측이 실제 값과 얼마나 다른지를 측정하는 방식이기 때문에 손실값을 재기 때문이다.즉, 작을수록 좋다.모델 개발 중 이 Loss function 의 값을 낮추기 위해서 Hyperparameter같은 파라미터들을 조정한다.이 과정에서 "경사하강법"이 등장한다.Mean Squared Error, MSE평균 제곱 오차(Mean Squared Error, MSE):정의: MSE는 모델 예측값과 실제 값의 차이의 제곱을 평균낸 값이다. 주로 회귀 문제에 사용한다고 한다.수식: \text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2..

실제 상황에서 K-Nearest Neighbor는 이미지 분류에는 사용되지 않는다이미지를 훈련하는 시간은 상대적으로 짧지만 정작 예측하는 속도가 느리다이미지와 같은 데이터가 고해상도로 올라갈수록 연산 난이도가 급격히 상승한다이미지가 고차원적으로 갈수록 N의 제곱으로 분석할 포인트들이 생겨난다Linear Classification :: 뉴럴 네트워크의 레고 블록Linear classification 이란 무엇인가, 하니 개체를 인식할때 보다 '관념적'으로 접근할 수 있도록 하는 것에 가깝다.물론 컴퓨터가 관념을 가진다는 이야기는 아니고, 굉장히 구체적이고 단편적인 예시들로 훈련을 거쳐 조금만 달라져도 인식을 못하던 이전 방식 대신에, 모호하고 포괄적인 이미지를 비교대상으로 삼고 물체를 인식하는 것이다.여기..