기울기 소실(Vanishing Gradient) – 딥러닝이 '단기 기억상실증'에 걸린 이유

딥러닝에서 기울기 소실(Vanishing Gradient) 현상이 왜 발생하는지, 시그모이드 함수와 연쇄 법칙이 문제를 일으키는 메커니즘을 설명합니다. ReLU와 ResNet이 어떻게 이 문제를 해결했는지, 실전 …

역전파(Backpropagation): AI가 에러의 '범인'을 색출하는 법

역전파(Backpropagation)를 통해 AI가 에러의 원인을 어떻게 찾아내는지, 연쇄 법칙(Chain Rule)과 파이토치 Autograd가 어떻게 자동으로 기울기를 계산하는지, 그리고 깊은 네트워크에서 발생…