가정
- non lamertian surface를 처리할 수 있음
- 고정된 카메라와 single lighting을 가정하고 있음
- single lighting은 이전 photometric stereo 모델들의 실험환경으로 어두운 환경에서 한 방향의 광원을 사용하여 입력 이미지를 캡쳐함
- 고정적이지 않은 개수와 순서의 입력 이미지를 처리할 수 있음
- Training과 testing 과정에서 미리 정의되지 않은 light direction 정보를 사용
실험 환경
- Orthograpic projection
- 면적 형태의 빛일 때 면적이 평행인 경우를 뜻함
- Orthograpic 하지 않은 projection의 경우 면적 빛이 마름모꼴을 가짐
- Directional lights
- 정확한 정의는 광원이 무한히 멀리 떨어져 있다고 가정하고 평향한 광선을 쏘는 빛임. 대표적으로 태양광선이 있음
- 하지만 photometric stereo 논문들에서는 빛의 방향을 특정할 수 없는 natrual lighting 의 반대개념으로 빛의 방향이 명확한 illumination을 뜻하는 것으로 유추됨
- Viewing direction pointing towards the viewer
- 해당 조건이 결과에 무슨 의미를 가지고 있는지는 아직 모름
특징
- 학습기반이 아닌 photomeric stereo 모델들은 image formation model에서 BRDF를 추정하여 이를 iversely하게 풀어 surface normal을 계산하였음. 반면 학습 기반의 모델은 빛의 방향과 세기를 surface normal과 직접적으로 매핑하여 surface normal을 계산함
- 모델 구조는 multi-branch siamese network임
- Multi-branch CNN 예시
- siamese network 예시
- Shared weight feature extraction
- 3 차원의 이미지와 q개의 light direction을 입력 받음. 이때 light direction은 1차원이지만 이미지와 같은 모양을 갖도록 3차원으로 변형됨.
- 각 입력 이미지에 대하여 feature map을 생성
- 이때 CNN을 사용하여 feature을 추출하므로써 다양한 크기의 이미지를 입력으로 받을 수 있음
- Fusion layer
- 다양한 개수의 이미지를 입력 받기 위한 방법으로 RNN을 사용할 수도 있음. RNN은 한번에 이미지를 입력 받는 것이 아니라 sequentially하게 이미지를 입력 받기 때문. 하지만 RNN은 순서의 영향을 받기 때문에 order agnostic하게 이미지를 처리할 수 없음
- 다른 대안으로 order agnostic property를 가지고 있는 max-pooling과 average pooling이 있음.
- max-pooling
- 가장 salient한 정보를 추출함.
- average-pooling
- salient하거나 활성화되지 않은 feature들을 smooth out
- max-pooling
3. Normal Regression Network
- 이전 단계에서 추출한 feature map을 사용하여 surface normal을 예측
- normal regression layer은 CNN layer로 이루어져 있음
Contributions
- Atbitrary lighting에서 캡쳐한 이미지들로 normal map을 생성할 수 있는 모델을 생성
- Arbitary lighting은 실내 환경과 유사한 다양한 광원 환경을 뜻함
- 기존 photometric stereo 모델들은 어두운 환경에서 single lighting을 가정하고 이미지를 캡쳐함. 하지만 이러한 이미지는 얻기도 어렵고 접근성이 떨어짐
- 따라서 저자는 arbirary lighting에서도 높은 성능을 보이는 모델을 개발하므로써, 이러한 한계를 극복하고 photometric stereo의 유용성(usability)를 개선
'Photometric Stereo' 카테고리의 다른 글
| Photometric Stereo 배경지식 정리 (0) | 2022.09.16 |
|---|