PReLU (Parametric ReLU)

SRGAN 관련된 튜토리얼을 번역하다가, ReLU에 비해 익숙하지 않을 PReLU에 대한 짧은 설명이 있으면 좋을 것이라 생각했다.

 

그 전에 어떤 activation function이 있었는지 아래의 이미지를 보면서 짧게 살펴보자.

 

 

다양한 activation function이 있고 각각의 조건을 통해 다음 레이어로 넘어갈 값들을 결정한다고 생각하면 된다.

 

ReLU의 경우에는 입력값이 음수이면 (x < 0) : 0, 양수이면 그 값: x 을 출력한다. PReLU는 어떨까?

 

PReLU는 입력값이 음수이면 (x < 0) α를 곱해주고 : αx, 양수이면 그 값: x 을 출력한다. 이미지로 본다면 아래와 같다.

 

Parameter로 사용되는  α를 학습시킨다. α는 상수가 아닌 미지수이므로 계속 바뀐다. 

상수가 아니므로 각 레이어마다 알맞는 α를 학습시킬 수 있는 장점이 있다.