손실함수1 Loss에 대한 고찰 딥러닝의 학습과정에서 우리는 많은 Loss를 사용한다. Cross-Entropy와 MSE 가 대표적인 손실이며 이미지의 고차원적 의미를 담기 위한 perceptual loss 등을 사용하기도 한다. 이렇게 로스를 가져다가 쓸 때, 대부분 파이토치에서 이미 구현해놓은 로스를 사용하기 때문에 그 수학적 의미를 대충 이해만 하고 넘기는 경우가 많았다. (아, 회귀때 mse 쓰고 분류때 cross entropy 쓰는데 회귀때도 cross entropy 쓸 수도 있구나. 근데 그건 로그값이 0에 가까울 수록 엄청 기울기가 커서 그렇구나- 의 정도) 이번에 과제를 진행하며 numpy의 저수준에서 모델의 학습을 짜볼 기회가 생겨 얻었던 인사이트를 기록하려고 한다. Softmax Loss란? 우리가 흔하.. 2024. 11. 19. 이전 1 다음
