PYTORCH의 TORCH.NN

PyTorch는 신경망을 생성하고 훈련하는 데 도움이 되는 torch.nn 모듈을 제공합니다. 먼저 이러한 모델의 기능을 사용하지 않고 MNIST 데이터 세트에서 기본 신경망을 훈련하겠습니다. 우리는 기본적인 PyTorch 텐서 기능만 사용한 다음 torch.nn에서 한 번에 하나의 기능을 점진적으로 추가할 것입니다.

torch.nn은 신경망을 구현하고 훈련하기 위한 더 많은 클래스와 모듈을 제공합니다.

nn 패키지에는 다음 모듈과 클래스가 포함되어 있습니다.

예 아니오	클래스 및 모듈	설명
1.	torch.nn.매개변수	모듈 매개변수로 간주되는 텐서 유형입니다.
2.	컨테이너
1) torch.nn.모듈	모든 신경망 모듈의 기본 클래스입니다.
2) torch.nn.순차	모듈이 생성자에 전달된 순서와 동일한 순서로 추가되는 순차적 컨테이너입니다.
3) torch.nn.ModuleList	이것은 목록에 하위 모듈을 보유합니다.
4) torch.nn.ModuleDict	이것은 디렉토리에 하위 모듈을 보유합니다.
5) 토치.nn.ParameterList	이는 목록의 매개변수를 보유합니다.
6) torch.nn.parameterDict	이는 디렉토리에 매개변수를 보유합니다.
삼.	컨볼루션 레이어
1) 토치.nn.Conv1d	이 패키지는 여러 입력 평면으로 구성된 입력 신호에 1D 컨볼루션을 적용하는 데 사용됩니다.
2) 토치.nn.Conv2d	이 패키지는 여러 입력 평면으로 구성된 입력 신호에 2D 컨볼루션을 적용하는 데 사용됩니다.
3) 토치.nn.Conv3d	이 패키지는 여러 입력 평면으로 구성된 입력 신호에 3D 컨볼루션을 적용하는 데 사용됩니다.
4) torch.nn.ConvTranspose1d	이 패키지는 여러 입력 평면으로 구성된 입력 이미지에 1D 전치 컨벌루션 연산자를 적용하는 데 사용됩니다.
5) torch.nn.ConvTranspose2d	이 패키지는 여러 입력 평면으로 구성된 입력 이미지에 2D 전치 컨벌루션 연산자를 적용하는 데 사용됩니다.
6) torch.nn.ConvTranspose3d	이 패키지는 여러 입력 평면으로 구성된 입력 이미지에 3D 전치 컨벌루션 연산자를 적용하는 데 사용됩니다.
7) 토치.nn.펼침	일괄 처리된 입력 텐서에서 슬라이딩 로컬 블록을 추출하는 데 사용됩니다.
8) 토치.nn.폴드	이는 슬라이딩 로컬 블록 배열을 큰 포함 텐서로 결합하는 데 사용됩니다.
4.	풀링 레이어
1) 토치.nn.MaxPool1d	여러 입력 평면으로 구성된 입력 신호에 대해 1D 최대 풀링을 적용하는 데 사용됩니다.
2) 토치.nn.MaxPool2d	여러 입력 평면으로 구성된 입력 신호에 대해 2D 최대 풀링을 적용하는 데 사용됩니다.
3) torch.nn.MaxPool3d	여러 입력 평면으로 구성된 입력 신호에 대해 3D 최대 풀링을 적용하는 데 사용됩니다.
4) torch.nn.MaxUnpool1d	MaxPool1d의 부분 역수를 계산하는 데 사용됩니다.
5) 토치.nn.MaxUnpool2d	MaxPool2d의 부분 역함수를 계산하는 데 사용됩니다.
6) torch.nn.MaxUnpool3d	MaxPool3d의 부분 역함수를 계산하는 데 사용됩니다.
7) 토치.nn.AvgPool1d	여러 입력 평면으로 구성된 입력 신호에 대해 1D 평균 풀링을 적용하는 데 사용됩니다.
8) 토치.nn.AvgPool2d	여러 입력 평면으로 구성된 입력 신호에 대해 2D 평균 풀링을 적용하는 데 사용됩니다.
9) 토치.nn.AvgPool3d	여러 입력 평면으로 구성된 입력 신호에 대해 3D 평균 풀링을 적용하는 데 사용됩니다.
10) 토치.nn.FractionalMaxPool2d	여러 입력 평면으로 구성된 입력 신호에 대해 2D 분수 최대 풀링을 적용하는 데 사용됩니다.
11) 토치.nn.LPPool1d	여러 입력 평면으로 구성된 입력 신호에 대해 1D 전력 평균 풀링을 적용하는 데 사용됩니다.
12) 토치.nn.LPPool2d	여러 입력 평면으로 구성된 입력 신호에 대해 2D 전력 평균 풀링을 적용하는 데 사용됩니다.
13) 토치.nn.AdavtiveMaxPool1d	여러 입력 평면으로 구성된 입력 신호에 대해 1D 적응형 최대 풀링을 적용하는 데 사용됩니다.
14) 토치.nn.AdavtiveMaxPool2d	여러 입력 평면으로 구성된 입력 신호에 대해 2D 적응형 최대 풀링을 적용하는 데 사용됩니다.
15) 토치.nn.AdavtiveMaxPool3d	여러 입력 평면으로 구성된 입력 신호에 대해 3D 적응형 최대 풀링을 적용하는 데 사용됩니다.
16) 토치.nn.AdavtiveAvgPool1d	여러 입력 평면으로 구성된 입력 신호에 대해 1D 적응형 평균 풀링을 적용하는 데 사용됩니다.
17) 토치.nn.AdavtiveAvgPool2d	여러 입력 평면으로 구성된 입력 신호에 대해 2D 적응형 평균 풀링을 적용하는 데 사용됩니다.
18) 토치.nn.AdavtiveAvgPool3d	여러 입력 평면으로 구성된 입력 신호에 대해 3D 적응형 평균 풀링을 적용하는 데 사용됩니다.
5.	패딩 레이어
1) 토치.nn.ReflectionPad1d	입력 경계의 반사를 사용하여 입력 텐서를 채웁니다.
2) torch.nn.ReflactionPad2d	입력 경계의 반사를 사용하여 입력 텐서를 채웁니다.
3) 토치.nn.ReplicationPad1	입력 경계의 복제를 사용하여 입력 텐서를 채웁니다.
4) 토치.nn.ReplicationPad2d	입력 경계의 복제를 사용하여 입력 텐서를 채웁니다.
5) 토치.nn.ReplicationPad3d	입력 경계의 복제를 사용하여 입력 텐서를 채웁니다.
6) 토치.nn.ZeroPad2d	입력 텐서 경계를 0으로 채웁니다.
7) 토치.nn.ConstantPad1d	입력 텐서 경계를 상수 값으로 채웁니다.
8) 토치.nn.ConstantPad2d	입력 텐서 경계를 상수 값으로 채웁니다.
9) torch.nn.ConstantPad3d	입력 텐서 경계를 상수 값으로 채웁니다.
6.	비선형 활성화(가중합, 비선형성)
1) 토치.nn.ELU	요소별 기능을 적용하는 데 사용됩니다. ELU(x)=최대(0,x)+최소(0,α*(exp(x)-1))
2) torch.nn.Hardshrink	하드 수축 기능 요소별 기능을 적용하는 데 사용됩니다.
3) 토치.nn.LeakyReLU	요소별 기능을 적용하는 데 사용됩니다. LeakyReLu(x)=최대(0,x) +negative_slope*min(0,x)
4) torch.nn.LogSigmoid	요소별 기능을 적용하는 데 사용됩니다.
5) torch.nn.MultiheadAttention	모델이 다양한 표현 하위 공간의 정보에 주의를 기울이는 데 사용됩니다.
6) 토치.nn.PReLU	요소별 기능을 적용하는 데 사용됩니다. PReLU(x)=최대(0,x)+a*최소(0,x)
7) 토치.nn.ReLU	수정된 선형 단위 함수를 요소별로 적용하는 데 사용됩니다. ReLU(x)=최대(0,x)
8) 토치.nn.ReLU6	요소별 기능을 적용하는 데 사용됩니다. ReLU6(x)=최소(최대(0,x),6)
9) 토치.nn.RReLU	논문에 설명된 대로 무작위 누출 정류 선형 단위 함수를 요소별로 적용하는 데 사용됩니다.
10) 토치.nn.SELU	다음과 같이 요소별 기능을 적용하는 데 사용됩니다. SELU(x)=규모(최대(0,x)+ 최소(0,a(exp(x)-1))) 여기서 α= 1.6732632423543772848170429916717이고 규모 = 1.0507009873554804934193349852946입니다.
11) 토치.nn.TARGET	다음과 같이 요소별 기능을 적용하는 데 사용됩니다.
12) torch.nn.시그모이드	다음과 같이 요소별 기능을 적용하는 데 사용됩니다.
13) 토치.nn.소프트플러스	다음과 같이 요소별 기능을 적용하는 데 사용됩니다.
14) 토치.nn.소프트슈링크	다음과 같이 요소별로 부드러운 수축 기능을 적용하는 데 사용됩니다.
15) 토치.nn.소프트사인	다음과 같이 요소별 기능을 적용하는 데 사용됩니다.
16) 토치.nn.탄	다음과 같이 요소별 기능을 적용하는 데 사용됩니다.
17) 토치.nn.Tanhshrink	다음과 같이 요소별 기능을 적용하는 데 사용됩니다. Tanh수축(x)=x-Tanh(x)
18) torch.nn.임계값	입력 텐서의 각 요소를 임계값으로 지정하는 데 사용됩니다. 임계값은 다음과 같이 정의됩니다.
7.	비선형 활성화(기타)
1) 토치.nn.소프트민	n차원 입력 Tensor에 Softmin 함수를 적용하여 크기를 다시 조정하는 데 사용됩니다. 그 후 n차원 출력 Tensor의 요소는 0, 1 및 합이 1이 되는 범위에 있습니다. Softmin은 다음과 같이 정의됩니다.
2) 토치.nn.소프트맥스	n차원 입력 텐서에 소프트맥스 함수를 적용하여 크기를 다시 조정하는 데 사용됩니다. 그 후 n차원 출력 Tensor의 요소는 0, 1 및 합이 1이 되는 범위에 있습니다. Softmax는 다음과 같이 정의됩니다.
3) 토치.nn.Softmax2d	SoftMax over feature를 각 공간 위치에 적용하는 데 사용됩니다.
4) 토치.nn.LogSoftmax	n차원 입력 Tensor에 LogSoftmax 함수를 적용하는데 사용됩니다. LofSoftmax 함수는 다음과 같이 정의할 수 있습니다.
5) torch.nn.AdaptiveLogSoftmaxWithLoss	이는 출력 공간이 큰 모델을 학습하기 위한 전략입니다. 라벨 분포의 불균형이 심한 경우 매우 효과적입니다.
8.	정규화 레이어
1) 토치.nn.BatchNorm1d	2D 또는 3D 입력에 일괄 정규화를 적용하는 데 사용됩니다.
2) 토치.nn.BatchNorm2d	4D에 일괄 정규화를 적용하는 데 사용됩니다.
3) torch.nn.BatchNorm3d	5D 입력에 대해 일괄 정규화를 적용하는 데 사용됩니다.
4) torch.nn.GroupNorm	입력의 미니 배치에 대해 그룹 정규화를 적용하는 데 사용됩니다.
5) torch.nn.SyncBatchNorm	n차원 입력에 대해 일괄 정규화를 적용하는 데 사용됩니다.
6) 토치.nn.InstanceNorm1d	3D 입력에 인스턴스 정규화를 적용하는 데 사용됩니다.
7) 토치.nn.InstanceNorm2d	4D 입력에 인스턴스 정규화를 적용하는 데 사용됩니다.
8) 토치.nn.InstanceNorm3d	5D 입력에 인스턴스 정규화를 적용하는 데 사용됩니다.
9) torch.nn.LayerNorm	입력의 미니 배치에 대해 레이어 정규화를 적용하는 데 사용됩니다.
10) 토치.nn.LocalResponseNorm	이는 채널이 두 번째 차원을 차지하는 여러 입력 평면으로 구성된 입력 신호에 대해 로컬 응답 정규화를 적용하는 데 사용됩니다.
9.	반복 레이어
1) 토치.nn.RNN	tanh 또는 ReLU 비선형성을 갖는 다층 Elman RNN을 입력 시퀀스에 적용하는 데 사용됩니다. 각 레이어는 입력 시퀀스의 각 요소에 대해 다음 함수를 계산합니다. 시간_티=탄(W_그들을엑스_티+b_그들을+W_아티_t-1+b_아)
2) 토치.nn.LSTM	다층 장단기 기억(LSTM) RNN을 입력 시퀀스에 적용하는 데 사용됩니다. 각 레이어는 입력 시퀀스의 각 요소에 대해 다음 함수를 계산합니다.
3) 토치.nn.GRU	다층 GRU(Gated Recurrent Unit) RNN을 입력 시퀀스에 적용하는 데 사용됩니다. 각 레이어는 입력 시퀀스의 각 요소에 대해 다음 함수를 계산합니다.
4) 토치.nn.RNNCell	tanh 또는 ReLU 비선형성을 갖는 Elman RNN 셀을 입력 시퀀스에 적용하는 데 사용됩니다. 각 레이어는 입력 시퀀스의 각 요소에 대해 다음 함수를 계산합니다. h'=탄(W_그들을x+b_그들을+W_아h+b_아) ReLU는 tanh 대신 사용됩니다.
5) 토치.nn.LSTMCell	입력 시퀀스에 LSTM(장단기 기억) 셀을 적용하는 데 사용됩니다. 각 레이어는 입력 시퀀스의 각 요소에 대해 다음 함수를 계산합니다. 여기서 σ는 시그모이드 함수이고 *는 Hadamard 곱입니다.
6) 토치.nn.GRUCell	GRU(Gated Recurrent Unit) 셀을 입력 시퀀스에 적용하는 데 사용됩니다. 각 레이어는 입력 시퀀스의 각 요소에 대해 다음 함수를 계산합니다.
10.	선형 레이어
1) torch.nn.Identity	인수를 구분하지 않는 자리 표시자 ID 연산자입니다.
2) 토치.nn.리니어	들어오는 데이터에 선형 변환을 적용하는 데 사용됩니다. y=xA^티+b
3) torch.nn.바이리니어	들어오는 데이터에 이중선형 변환을 적용하는 데 사용됩니다. y=x₁도끼₂+b
열하나.	드롭아웃 레이어
1) 토치.nn.드롭아웃	이는 뉴런의 공동 적응을 정규화하고 예방하는 데 사용됩니다. 요인 훈련 중에 출력의 크기를 조정합니다. 이는 모듈이 평가 중에 항등 함수를 계산한다는 의미입니다.
2) 토치.nn.Dropout2d	기능 맵 내의 인접한 픽셀이 상관된 경우 torch.nn.Dropout은 활성화를 정규화하지 않으며 유효 학습 속도를 감소시킵니다. 이 경우, 기능 맵 간의 독립성을 촉진하기 위해 torch.nn.Dropout2d()가 사용됩니다.
3) 토치.nn.Dropout3d	기능 맵 내의 인접한 픽셀이 상관된 경우 torch.nn.Dropout은 활성화를 정규화하지 않으며 유효 학습 속도를 감소시킵니다. 이 경우, 기능 맵 간의 독립성을 촉진하기 위해 torch.nn.Dropout2d()가 사용됩니다.
4) torch.nn.AlphaDropout	입력에 Alpha Dropout을 적용하는 데 사용됩니다. Alpha Dropout은 자체 정규화 특성을 유지하는 Dropout 유형입니다.
12.	희소 레이어
1) torch.nn.임베딩	단어 임베딩을 저장하고 인덱스를 사용하여 검색하는 데 사용됩니다. 모듈의 입력은 인덱스 목록이고 출력은 해당 단어 임베딩입니다.
2) torch.nn.EmbeddingBag	중간 임베딩을 인스턴스화하지 않고 임베딩 '백'의 합계 또는 평균을 계산하는 데 사용됩니다.
13.	거리 함수
1) torch.nn.Cosine유사성	희미한 값을 따라 계산된 x1과 x2 사이의 코사인 유사성을 반환합니다.
2) torch.nn.PairwiseDistance	p-노름을 사용하여 벡터 v1, v2 사이의 배치별 쌍별 거리를 계산합니다.
14.	손실 함수
1) 토치.nn.L1손실	입력 x와 목표 y의 각 요소 사이의 평균 절대 오차를 측정하는 기준에 사용됩니다. 감소되지 않은 손실은 다음과 같이 설명할 수 있습니다. l(x,y)=L={l₁,...,엘_N},엘_N=\|x_N-그리고_N\|, 여기서 N은 배치 크기입니다.
2) torch.nn.MSELoss	입력 x와 목표 y의 각 요소 사이의 평균 제곱 오차를 측정하는 기준에 사용됩니다. 감소되지 않은 손실은 다음과 같이 설명할 수 있습니다. l(x,y)=L={l₁,...,엘_N},엘_N=(엑스_N-그리고_N)², 여기서 N은 배치 크기입니다.
3) torch.nn.CrossEntropyLoss	이 기준은 nn.LogSoftmax()와 nn.NLLLoss()를 단일 클래스로 결합합니다. C 클래스로 분류 문제를 훈련할 때 도움이 됩니다.
4) torch.nn.CTCLoss	연결주의자 시간 분류 손실은 연속 시계열과 대상 시퀀스 간의 손실을 계산합니다.
5) 토치.nn.NLLLoss	Negative Log-Likelihood 손실은 C 클래스의 분류 문제를 훈련하는 데 사용됩니다.
6) torch.nn.PoissonNLLLoss	t의 포아송 분포를 사용한 음의 로그 우도 손실 target~Poisson(input)loss(input,target)=input-target*log(target!)그는 목표입니다.
7) 토치.nn.KLDiv손실	이는 연속 분포에 유용한 거리 측정값이며, 연속 출력 분포 공간에 대해 직접 회귀를 수행할 때도 유용합니다.
8) torch.nn.BCELoss	이는 대상과 출력 사이의 이진 교차 엔트로피를 측정하는 기준을 만드는 데 사용됩니다. 감소되지 않은 손실은 다음과 같이 설명할 수 있습니다. l(x,y)=L={l₁,...,엘_N},엘_N=-v_N[그리고_N로그x_N+ (1년_N)로그(1-x_N)], 여기서 N은 배치 크기입니다.
9) torch.nn.BCEWithLogitsLoss	이는 Sigmoid 레이어와 BCELoss를 하나의 단일 클래스로 결합합니다. 연산을 하나의 레이어로 결합하여 수치적 안정성을 위해 로그 합계 표현식 트릭을 활용할 수 있습니다.
10) torch.nn.MarginRankingLoss	주어진 입력 x1, x2, 두 개의 1D 미니 배치 텐서 및 1 또는 -1을 포함하는 레이블 1D 미니 배치 텐서 y의 손실을 측정하는 기준을 생성합니다. 미니 배치의 각 샘플에 대한 손실 함수는 다음과 같습니다. 손실(x,y)=최대(0,-y*(x₁-엑스₂)+마진
11) torch.nn.HingeEmbedding손실	HingeEmbeddingLoss는 주어진 입력 텐서 x와 1 또는 -1을 포함하는 레이블 텐서 y의 손실을 측정합니다. 두 입력이 유사한지 다른지 여부를 측정하는 데 사용됩니다. 손실 함수는 다음과 같이 정의됩니다.
12) torch.nn.MultiLabelMarginLoss	이는 입력 x와 출력 y 사이의 다중 클래스 다중 분류 힌지 손실을 최적화하는 기준을 생성하는 데 사용됩니다.
13) 토치.nn.SmoothL1손실	절대 요소별 오류가 1 미만이면 제곱 항을 사용하고 그렇지 않으면 L1 항을 사용하는 기준을 생성하는 데 사용됩니다. 후버 손실(Huber loss)이라고도 합니다.
14) 토치.nn.SoftMarginLoss	이는 1 또는 -1을 포함하는 입력 텐서 x와 대상 텐서 y 간의 2클래스 분류 로지스틱 손실을 최적화하는 기준을 생성하는 데 사용됩니다.
15) 토치.nn.MultiLabelSoftMarginLoss	입력 x와 크기(N, C)의 대상 y 사이의 최대 엔트로피를 기반으로 다중 레이블 일대다 손실을 최적화하는 기준을 생성하는 데 사용됩니다.
16) torch.nn.CosineEmbeddingLoss	주어진 입력 텐서 x1, x2 및 값 1 또는 -1을 갖는 텐서 레이블 y의 손실을 측정하는 기준을 만드는 데 사용됩니다. 코사인 거리를 사용하여 두 입력이 유사한지 다른지 여부를 측정하는 데 사용됩니다.
17) 토치.nn.MultiMarginLoss	입력 x와 출력 y 사이의 다중 클래스 분류 힌지 손실을 최적화하는 기준을 생성하는 데 사용됩니다.
18) torch.nn.TripletMarginLoss	주어진 입력 텐서 x1, x2, x3과 0보다 큰 값의 마진의 삼중항 손실을 측정하는 기준을 생성하는 데 사용됩니다. 이는 샘플 간의 상대적 유사성을 측정하는 데 사용됩니다. 삼중항은 앵커, 긍정적 예시, 부정적 예시로 구성됩니다. L(a,p,n)=최대{d(a_나,피_나)-d(a_나,N_나)+마진,0}
열 다섯.	비전 레이어
1) 토치.nn.PixelShuffle	모양(,C×r)의 텐서에서 요소를 재배열하는 데 사용됩니다.²,H,W)를 (,C,H×r,W,r) 모양의 텐서로 변환
2) torch.nn.업샘플	이는 주어진 다중 채널 1D, 2D 또는 3D 데이터를 업샘플링하는 데 사용됩니다.
3) torch.nn.upsamplingNearest2d	여러 입력 채널로 구성된 입력 신호에 2D 최근접 업샘플링을 적용하는 데 사용됩니다.
4) torch.nn.UpsamplingBilinear2d	다중 입력 채널로 구성된 입력 신호에 2D 바이리니어 업샘플링을 적용하는 데 사용됩니다.
16.	DataParallel 레이어(다중 GPU, 분산)
1) torch.nn.DataParallel	모듈 수준에서 데이터 병렬성을 구현하는 데 사용됩니다.
2) torch.nn.DistributedDataParallel	이는 모듈 수준에서 torch.distributed 패키지를 기반으로 하는 분산 데이터 병렬성을 구현하는 데 사용됩니다.
3) torch.nn.DistributedDataParallelCPU	모듈 수준에서 CPU에 대한 분산 데이터 병렬성을 구현하는 데 사용됩니다.
17.	유용
1) 토치.nn.clip_grad_norm_	반복 가능한 매개변수의 그래디언트 노름을 자르는 데 사용됩니다.
2) 토치.nn.clip_grad_value_	지정된 값에서 반복 가능한 매개변수의 그래디언트 노름을 자르는 데 사용됩니다.
3) 토치.nn.parameters_to_Vector	매개변수를 하나의 벡터로 변환하는 데 사용됩니다.
4) 토치.nn.Vector_to_parameters	하나의 벡터를 매개변수로 변환하는 데 사용됩니다.
5) 토치.nn.weight_norm	주어진 모듈의 매개변수에 가중치 정규화를 적용하는 데 사용됩니다.
6) torch.nn.remove_weight_norm	모듈에서 가중치 정규화 및 재매개변수화를 제거하는 데 사용됩니다.
7) 토치.nn.spectral_norm	이는 주어진 모듈의 매개변수에 스펙트럼 정규화를 적용하는 데 사용됩니다.
8) torch.nn.PackedSequence	압축된 시퀀스의 데이터 및 배치_크기 목록을 보유하는 데 사용됩니다.
9) torch.nn.pack_pended_sequence	가변 길이의 패딩된 시퀀스를 포함하는 Tensor를 패킹하는 데 사용됩니다.
10) 토치.nn.pad_packed_sequence	가변 길이 시퀀스의 묶음 배치를 채우는 데 사용됩니다.
11) 토치.nn.pad_sequence	패딩 값으로 가변 길이 텐서 목록을 채우는 데 사용됩니다.
12) 토치.nn.pack_sequence	가변 길이 Tensor 목록을 묶는 데 사용됩니다.
13) 토치.nn.remove_spectral_norm	모듈에서 스펙트럼 정규화 및 재매개변수화를 제거하는 데 사용됩니다.