본문 바로가기

ML/PyTorch

 (2)
2. 역전파 역전파 - 모델내부의 파라미터의 최적화는 미분의 성질과 연쇄법칙(Chain rule)을 기반으로 한 역전파를 통해 진행된다. - 역전파는 모델이 복잡할 수록 계산 과정이 복잡해져 코드를 직접 구현하기에는 어려움이 있다. - 하지만 파이토치에는 간단하게 사용할 수 있는 다양한 최적화 방법을 제공하고 있다. 1. 그레디언트 텐서 - 일반적으로 인공 신경망의 최적화는 손실 함수의 최솟값(Global minimum)이 나오게 하는 신경망의 최적 가중치를 찾는 과정이다. - 따라서 최적화를 위해 변화량을 나타내는 미분은 필수적인 요소이다. - 인공신경망의 구조는 다음과 같이 입력 값이 들어와 여러 레이어를 지나 출력 값을 산출하는 합성 함수의 형태이다. - 따라서 연쇄법칙을 통해 원하는 변수에 대한 미분값을 구할..
1. 텐서 텐서 - 파이토치의 기본 단위, GPU 연산을 가능하게 함. - 또한 Numpy의 배열과 유사하여 Numpy를 공부한 사람이라면 손쉽게 다룰 수 있음. 1. empty, ones, empty, zeros import torch import numpy as np x = torch.empty(5,4) print(x) tensor([[1.8515e+28, 1.7744e+28, 5.3831e-14, 1.8037e+28], [6.7120e+22, 2.8231e+23, 7.1377e+31, 5.3740e+19], [1.8888e+31, 1.9011e-19, 1.2711e+31, 4.2321e+21], [4.5581e+30, 1.1725e-19, 5.0746e+31, 7.5338e+28], [2.8884e+12, 7..

티스토리툴바