Interactive normal reconstruction from a single image

• 단일 이미지에서 표면 normal 재구성하기 위한 interactive sysem

1. Shape from shading 알고리즘 (SFS)
   1. local image region(high frequency component)의 노멀 재구성이 잘 하지만
   2. 전반적인 global structure(low frequency component)는 잘 못한다.
2. 마크업 절차를 통해 저주파 오류를 보완하기

   1. Rotation palette라고 불리는 접근 방식

      : 사용자가 노멀맵과 회전 방향을 나타내는 구 이미지 사이에 대응하는 스토로크를 그려서 표면 노멀의 대규모 보정 지정 가능

💡 소개

SFS

• 이미지의 그림자 정보로부터 표면 노멀을 계산
• 자동 알고리즘은 오류가 발생하기 쉬움, 고품질의 표면 노멀 만들기에 불충분

→ 사용자가 절대 표면 위치와 절대 표면 노멀을 제약조건으로 지정하면 개선 가능 (복잡한 이미지일수록 많은 조건 필요)

• 자동 sfs 알고리즘은 중고주파 표면 디테일을 추정하는데 좋으니까, 유저의 저주파 표면 수정이 쉽도록 하는 방법을 관찰해본다.

접근

1. 노멀 방향의 에러가 저주파 성분에 있도록, 오실로스코프 제약 조건으로 표면 재구성을 통해 재구성 오류를 분배하는 sfs 알고리즘 제안

   → 단색 머터리얼로 만들어진 표면에서 가장 잘 작동한다.

2. 절대 표면 위치와 절대 표면 노멀을 요구하는 대신, 유저는 SFS 결과의 저주파 바이어스(low frequency bias)를 고정하기 위해 상대 노멀로 작용

   1. 상대 노멀은 구에 획을 그어 직관적으로 조작 가능
   2. 아주 희박한 마크업만 필요하고, 이 마크업은 2d 인터페이스에서 편리하게 수행 가능
   3. 희박한 노멀 조작은 최적화 방식으로 전체 표면에 전파
   4. 상대 노멀은 지정되어야하고, 방향 구를 사용한 마크업 접근이 이를 지정하는 방법
   5. 상대노멀 사용하는 것은 [그라디언트 도메인에서 계산하는 성공적인 interactive 메쉬 편집]에서 영감을 받음 (둘 다 상대적인 양으로 작동)

💡관련작업/동기