Computer Vision 대학원생 기록지

가정

• non lamertian surface를 처리할 수 있음
• 고정된 카메라와 single lighting을 가정하고 있음
  • single lighting은 이전 photometric stereo 모델들의 실험환경으로 어두운 환경에서 한 방향의 광원을 사용하여 입력 이미지를 캡쳐함
• 고정적이지 않은 개수와 순서의 입력 이미지를 처리할 수 있음
• Training과 testing 과정에서 미리 정의되지 않은 light direction 정보를 사용

실험 환경

• Orthograpic projection
  • 면적 형태의 빛일 때 면적이 평행인 경우를 뜻함
  • Orthograpic 하지 않은 projection의 경우 면적 빛이 마름모꼴을 가짐
• Directional lights
  • 정확한 정의는 광원이 무한히 멀리 떨어져 있다고 가정하고 평향한 광선을 쏘는 빛임. 대표적으로 태양광선이 있음
  • 하지만 photometric stereo 논문들에서는  빛의 방향을 특정할 수 없는 natrual lighting 의 반대개념으로 빛의 방향이 명확한 illumination을 뜻하는 것으로 유추됨
• Viewing direction pointing towards the viewer
  • 해당 조건이 결과에 무슨 의미를 가지고 있는지는 아직 모름

특징

• 학습기반이 아닌 photomeric stereo 모델들은 image formation model에서 BRDF를 추정하여 이를 iversely하게 풀어 surface normal을 계산하였음. 반면 학습 기반의 모델은 빛의 방향과 세기를 surface normal과 직접적으로 매핑하여 surface normal을 계산함
• 모델 구조는 multi-branch siamese network임
  • Multi-branch CNN 예시

• siamese network 예시

1. Shared weight feature extraction
   • 3 차원의 이미지와 q개의 light direction을 입력 받음. 이때 light direction은 1차원이지만 이미지와 같은 모양을 갖도록 3차원으로 변형됨. 
   • 각 입력 이미지에 대하여 feature map을 생성
   • 이때 CNN을 사용하여 feature을 추출하므로써 다양한 크기의 이미지를 입력으로 받을 수 있음
2. Fusion layer
   • 다양한 개수의 이미지를 입력 받기 위한 방법으로 RNN을 사용할 수도 있음. RNN은 한번에 이미지를 입력 받는 것이 아니라 sequentially하게 이미지를 입력 받기 때문. 하지만 RNN은 순서의 영향을 받기 때문에 order agnostic하게 이미지를 처리할 수 없음
   • 다른 대안으로 order agnostic property를 가지고 있는 max-pooling과 average pooling이 있음.  
     1. max-pooling
        • 가장 salient한 정보를 추출함. 
     2. average-pooling
        • salient하거나 활성화되지 않은 feature들을 smooth out

    3. Normal Regression Network

• 이전 단계에서 추출한 feature map을 사용하여 surface normal을 예측
• normal regression layer은 CNN layer로 이루어져 있음

Contributions

• Atbitrary lighting에서 캡쳐한 이미지들로 normal map을 생성할 수 있는 모델을 생성
  • Arbitary lighting은 실내 환경과 유사한 다양한 광원 환경을 뜻함
  • 기존 photometric stereo 모델들은 어두운 환경에서 single lighting을 가정하고 이미지를 캡쳐함. 하지만 이러한 이미지는 얻기도 어렵고 접근성이 떨어짐
  • 따라서 저자는 arbirary lighting에서도 높은 성능을 보이는 모델을 개발하므로써, 이러한 한계를 극복하고 photometric stereo의 유용성(usability)를 개선

Photometric Stereo

• 3D computer vision problem (stereopsis, surfaces reflectance estimation 등)의 한 종류
• Different illumination에 따른 object의 appearance variation 으로부터 surface normal을 추론

Material properties

• Object를 이루는 것으로 object의 appearance를 결정하는 요소 중 하나

• 위 그림처럼 동일한 camera 각도, illumination, sphere shape에도 물구하고, mateiral이 다르기 때문에 sphere마다 다른 appearance를 가짐
• Material의 따라 빛을 받고 이를 다시 반사시키는 방향 (=Surfance reflectance)이 상이함

Surface Reflectance

• Viweing direction과 illumination(=reflection) direction로 나타낼 수 있음

• direction은 위와 같이 나타낼 수 있음

•  따라서 surface reflectance도 위와 같이 표현할 수 있음

Bidirectional Reflectance Distribution Function (BRDF)

• 다양한 material의 reflectance property를 나타내는 간단한 방법
• Viewing direction과 illumination direction이 중요하기 때문에 bidirectional이라고 지칭

• Surface reflectance의 2가지 direction의 ratio로 BRDF를 표현할 수 있음. 더 자세하게 표현하자면 BRDF는 theta 방향의 irradiance로 인한 r 방향의 radiance임
  • irradiance: 모든 방향에서 단위 면적으로 입사하는 복사량
  • radiance: 한 지점에서 특정 방향으로의 투영면적당 단위 입체각당 복사량

• non-negative한 특징과 helmoholtz reciprocity한 특징을 가지고 있음
  
  • 각 방향(radiance이든 irradiance이든)은 non-negative하기 때문에 BRDF도 non-negative함
  • Irradiance와 raidance를 맞바꾸어도 brightness은 동일하기 때문에 helmholtz reciprocity함
• BRDF는 4가지의 방향이 입력되기 때문에 4D 함수임. 하지만 Isotropic surface에서는 BRDF는 3D로 표현될 수 있음 

Isotropic Surface

• Rotationally symmetric reflectance라고도 지칭
• Surfance normal에 따라서 surface를 rotate하였을 때, 관심 point의 brightness의 값이 변하지 않을 때, rotationally symmetric하다고 부름

Global Illumination

• Indirect lighting을 simulate하는 과정을 지칭함
• 투과되는 빛도 다른 서피스를 위한 광원으로 사용될 수 있음. 이렇게 서피스에서 반사되거나 굴절되는 모든 빛을 새로운 광원으로 삼는 것을 global illimination이라고 지칭

• direct light = 광원에서 표면으로 직접 들어 온 빛
• indirect light = 표면에 들어 온 빛이 반사되어 새로운 광원처럼 사용되는 빛
  
  

Lambertian Surface

• 어느 방향에서 보아도 brightness가 동일한 surface
• 물체 표면의 brightness가 isotropic함. 예를 들어서 원목 재질은 각도에 따라서 밝기가 일정하기 때문에 isotropic하다고 볼 수 있음. 반면에 폴레우리탄 처리가 된 원목은 매끔한 표면을 가지고 있어 광원의 위치에 따라 거울면과 같은 highlight가 보이게 됨. 이는 isotropic하다고 볼 수 없음

Lambertian Cosine Law

• Lambertian cosine law에 따르면 어떠한 빛이 들어오는 각도에 따라 반사되는 빛의 intensity가 다름
• cos theta의 값의 분포는 반구 형태를 띄고 있기 때문에 0~90 사이에서 값이 형성
• theta가 벌어질 수록 빛의 intensity가 작아짐

Isotropic Reflectance

• Surface normal을 기준으로 한 빛 반사가 방향에 의존적이지 않음
• 물체의 surface의 빛 반사가 surface normal을 주변으로 고르게 분포되어 있음. 따라서 물체가 회전하여도 view 위치가 고정되어 있다면 illumination은 일정

Anisotropic Refelctance

• Surface normal을 기준으로 한 빛 반사가 방향에 의존적임
• 물체의 surface에 따라서 빛 반사가 surface normal을 주변으로 고르지 않게 분포되어 있음. 따라서 물체가 회전할 때 view 위치가 고정되어 있더라고 illumination은 일정하지 않음

Diffuse Reflection

• 빛 반사의 한 종류로 빛이 한 각도에서 surface에 도달하였을 때, 다양한 각도에서 확산해서 어떤 방향에서도 비교적 균등한 intensity로 볼 수 있음
• 동일한 세기의 빛이 모든 방향으로 고르게 반사되기 때문에 카메라를 어떤 곳에 놓던지 p 점의 색상은 동일하게 보임. 이러한 난반사는 표면의 재질에 따라 결과가 달라질 수 있다.

Specular Reflection

• 빛 반사의 한 종류로 빛이 한 각도에서 surface에 도달하였을 때, 입사되는 각도의 반사각에서만 빛을 볼 수 있음

Albedo

• 빛이 표면을 닿았을 때 반사하는 빛의 양을 뜻함
• 0과 1사이의 값을 가짐
• 0의 값에 가까울 수록 material은 들어오는 빛을 대부분 흡수하게 됨
• 1의 값에 가까울 수록 material은 들어오는 빛의 대부분을 반사하게 됨
• 주로 햇빛의 diffuse reflection을 측정한 값에 사용됨