목록NeuralNetwork (1)

브렌쏭의 Veritas_Garage

[CS231n] #4. Neural Network

경사하강, Gradient Descent Calculation SpeedProximityLevelNumerical gradientslow 😢approximate 😢Easy to Write 🤩Analytic gradientF A S T 🤩Exact 🤩error-prone 😢 So, Analytic gradient is better  어쨌든 확률 + 표본을 통한 해석적 경사하강법을 이용하는 것이 효율적이다.함수가 복잡해지면 복잡해질수록 각 표본이 기하급수적으로 늘어나므로 훨씬 이득이라고 할수있으며, 최신 방식을 일일히 경사하강법으로 구하고 있다면 연산량이 너무 많아진다. Back Propagation : 역전파함수에 대한 computational graph를 제작한다각 local gradient를..
[Project_하다]/[Project_공부] 2024. 7. 1. 14:57
Prev 1 Next