PReLU1 PReLU (Parametric ReLU) SRGAN 관련된 튜토리얼을 번역하다가, ReLU에 비해 익숙하지 않을 PReLU에 대한 짧은 설명이 있으면 좋을 것이라 생각했다. 그 전에 어떤 activation function이 있었는지 아래의 이미지를 보면서 짧게 살펴보자. 다양한 activation function이 있고 각각의 조건을 통해 다음 레이어로 넘어갈 값들을 결정한다고 생각하면 된다. ReLU의 경우에는 입력값이 음수이면 (x < 0) : 0, 양수이면 그 값: x 을 출력한다. PReLU는 어떨까? PReLU는 입력값이 음수이면 (x < 0) α를 곱해주고 : αx, 양수이면 그 값: x 을 출력한다. 이미지로 본다면 아래와 같다. Parameter로 사용되는 α를 학습시킨다. α는 상수가 아닌 미지수이므로 계속 바뀐다. 상수가 아.. 2020. 4. 11. 이전 1 다음
