튀빙겐 대학교의 Lecture: Computer Vision 2.3을 공부하며 정리한 자료입니다.
Photometric Image Formation
지금까지 ray가 image plane에 어떻게 맺히는지를 알아봤다면 2.3에서는 이미지에 pixel intensities(픽셀이 얼마나 밝은지?)와 컬러가 어떻게되는지 알아본다.
Rendering Equation
Rendering equation은 파장($L_in$)에 따른 광원에서 위치($\mathtt{p}$)로 들어오는 빛($L_{in}$) 중에서 얼마나 많은 양이 관찰 방향(viewing direction, $\mathtt{v}$)으로 반사되는지를 설명한다. 관찰자(viewing direction)의 눈쪽으로 얼마나 반사된 빛이 들어오냐에 따라 물체가 다르게 보여서 중요한듯.
Bidirectional reflectance distribution function인 $\mathtt{BRDF}(\mathtt{p}, \mathtt{r}, \mathtt{v}, \lambda)$는 빛이 opaque surface에서 어떻게 반사되는지(방향성과 반사량)를 정의하는 함수이다.
*opaque surface는 불투명한 물체를 의미한다. 물체가 불투명하면 빛이 통과하지 않는다. 따라서 opaque surface는 빛이 반사되거나 흡수됨에 따라 다른 색상을 보인다.
Diffuse and Specular Reflection
- 일반적인 BRDFs는 diffuse와 spcular 두 가지 구성요소가 있다.
- Diffuse (=constant)는 모든 방향으로 균일하게 빛이 퍼진다.
- Specular는 빛이 나가는 방향으로 크게 의존한다.
BRDF Examples
한 20몇초 이야기하고 그냥 넘어가심ㅋㅋㅋ
Fresnel Effect
Fresnel 법칙은 입사각이 작을 때(즉, 빛의 진행 방향과 경계면의 법선 벡터가 서로 가까울 때)는 굴절이 우세하고, 입사각이 커질수록(즉, 빛의 진행 방향과 경계면의 법선 벡터가 서로 멀어질 때) 반사가 우세해지는 것을 수식으로 표현한 것이다.
Global Illumination
Why Camera Lenses?
초반에 핀홀카메라를 이야기했었는데 왜 핀홀카메라를 계속 사용하지 않고 렌즈를 사용하게 된걸까?
핀홀 사이즈에 따른 trade off가 있어서라고 한다. 핀홀이 너무 크면 이미지에 블러가 생기고, 작으면 long shutter time으로 모션 블러가 생긴다.
Optics
위에서 이야기한 문제로 optics이 필요하다. Optics는 빛의 움직임과 속성을 다루는 분야이다.
- 카메라는 빛을 모아서(=accumulate) sensor plane에 전달하기위해 하나 또는 몇 개의 렌즈를 사용한다. 이렇게 하면 빛의 양을 증폭시키고 이미지의 밝기와 선명도를 향상시킬 수 있다고 한다. 렌즈는 특정 초점 거리에 맞추어 빛을 집중시킬 수 있다.
- 중요한 것은 3D 포인트가 초점에 맞추어져 있다면, 해당 포인트에서 발산하는 모든 빛은 동일한 2D 픽셀에 도착한다는 것이다. 이렇게 되면 선명하고 정확한 이미지를 얻을 수 있다.
- Focus, vignetting, aberration을 고려하기 위해서는 렌즈를 모델링해야 한다.
- 아래에서 aberration과 vignetting을 얘기할 것이다.
Thin Lens Model
- Thin lens model은 단순하게 만든 lens model이다.
Depth of Field (DOF)
- Depth of Field는 광원이 렌즈와 더 가깝게 혹은 더 멀게 움직여서 특정 영역을 벗어나게 되면 이미지가 흐려지게 되는데 그 흐림 현상이 나타지 않는 범위를 말한다. (이곳을 참고하면 좋은 것 같다.) 위 [그림 10] 왼쪽을 보면 $z_s$가 앞으로 이동해서 상이 앞쪽에 맺히고 넓게 퍼지는 현상을 볼 수 있다. 바로 이것이 위에서 말한 흐림 현상이다.
- 위에서 말한 이 흐림 현상을 circle of confusion(초점이 맞지 않아 하나의 점이 아니라 원 모양의 영역으로 번짐 현상이 나타나는 것)이라고 한다.
- 카메라 애플리케이션에서 depth of field 효과는 특정 영역을 강조하는데 사용한다고 하는데, 아이폰 인물모드 같은 것을 말하는건가?
- 따라서 이 알맞는 초점거리를 구하는 것이 중요한데 lens를 사용하는 카메라에서는 circle of confusion을 조절하기 위해 조리개를 조절한다.
자유로운 우리를 봐 자유로워..?[그림 10]의 오른쪽 이미지를 볼 때 조리개의 조절 정도와 focal length는 반비례 하기 때문에 빛의 양이 많아질수록(조리개를 열 수록) 초점 거리는 멀어진다.
- [그림 11]에서 본 N이 [그림 10]에서 본 $f/1.4$, $f/2.8$ 그 값이다.
Chromatic Aberration
- Chromatic Aberration: 렌즈를 통과하는 빛의 파장에 따라 굴절률이 달라져서 생기는 현상
- [그림 12]를 보면 빨강과 파랑 모두 다른 image plane에 도착하게 되는 걸 볼 수 있다. 이것처럼 카메라의 렌즈가 동일 지점으로 모든 컬러를 집중시키는데 실패해서 생긴다. 이게 이미지가 색상이 흐릿하게 찌그러지거나 무늬가 나타나는 등 왜곡되는 현상을 발생시킨다고 한다.
- Chromatic 혹은 다른 종류의 aberrations을 줄이기 위해 대부분의 카메라 렌즈는 서로 다른 유리 요소(코팅을 다르게한) 로 이루어져 있다.
Vignetting
- Vignetting은 중앙 부분 보다 이미지의 모서리 부분이 어두워지는 현상이다. 렌즈 내에서 빛이 센서까지 도달하지 못하면 생긴다. vignetting은 natural vignetting과 mechanical vignetting이 composition이라고 할 수 있다.
- Natural vignetting : 빛이 촬영 대상의 가장자리에서 부터 렌즈로 들어올 때 얇아지는 현상.
- Mechanical vignetting : 렌즈 시스템이나 카메라 내부의 다른 부품들에 의해 발생. 예를 들어, 렌즈 내부의 조리개나 필터, 렌즈 앞쪽에 부착된 렌즈 후드 등이 빛의 경로를 차단하여 발생한다.
Reference
- 튀빙겐 대학교 computer vision lecture
- Depth of Field(DoF)란?
- 비네팅(vignetting) 현상
