[논문 리뷰] An Information Theoretic Approach for Next Best View Planning in 3-D Reconstruction

An Information Theoretic Approach for Next Best View Planning in 3-D Reconstruction (ICPR 2006)

 

 

Fig. 1. SCORBOT과 턴테이블.

2D image points를 사용하여 3D 객체 재구성을 위한 nbv를 선택한다.

• image points에 노이즈가 있으므로 객체의 geometry를 잘 추정하기 위해 칼만 필터를 사용한다. 이를 통해 주어진 카메라 위치가 추정의 불확실성과 품질에 미치는 영향을 효율적으로 예측 가능
• 최적화 criterion : 재구성 에러를 최소화 할 수 있는 카메라 위치를 결정

 

3D Reconstruction with the KF

3D 재구성을 상태 추정 문제로 다룬다. 3D 객체의 points을 확률적으로 표현하고 칼만 필터를 이용하여 이러한 points의 정확한 위치를 추정한다.

 

1. 3D points를 사용해 3D object를 표현한다. 이 points는 상태 벡터 $\boldsymbol{x} \in \mathbb{R}^n$ 에 연결되어 있다.

 

2. 카메라는 시간 $t$에서 상태 points의 2D projection에 대한 observation $\boldsymbol{o}_t \in \mathbb{R}^m$을 생성한다.

 

3. observation을 상태 벡터 $\boldsymbol{x}$와 viewpoint $\boldsymbol{c}_t$, 노이즈 $\boldsymbol{w}$로 모델링한다. $$ \boldsymbol{o}_t=\boldsymbol{g}\left(\boldsymbol{x}, \boldsymbol{c}_t\right)+\boldsymbol{w} $$

 

4. EKF

• 초기 분포 $N\left(\hat{x}_0, P_0\right)$는 초기 삼각측량을 통해 얻는다.
• 함수 $g(\cdot, \cdot)$를 선형화 하기 위해 자코비안 $G_t\left(c_t\right)$을 사용한다.

$$ \begin{aligned}\widehat{\boldsymbol{x}}t & =\widehat{\boldsymbol{x}}{t-1}+\boldsymbol{K}_t\left(\boldsymbol{o}t-\boldsymbol{g}\left(\widehat{\boldsymbol{x}}{t-1}, \boldsymbol{c}_t\right)\right) \\\boldsymbol{P}_t & =\left(\boldsymbol{I}-\boldsymbol{K}_t \boldsymbol{G}_t\left(\boldsymbol{c}t\right)\right) \boldsymbol{P}{t-1} \\ \boldsymbol{K}t&=\boldsymbol{P}{t-1} \boldsymbol{G}_t^{\mathrm{T}}\left(\boldsymbol{c}_t\right)\left(\boldsymbol{G}_t\left(\boldsymbol{c}t\right) \boldsymbol{P}{t-1} \boldsymbol{G}_t^{\mathrm{T}}\left(\boldsymbol{c}_t\right)+\boldsymbol{W}\right)^{-1} \end{aligned} $$

 

NBV Selection

엔트로피를 측정하여 상태 추정의 불확실성을 줄이는 NBV를 선택한다.\\

 

1. 가능한 viewpoint $\boldsymbol{c}_t$에 대해 엔트로피 계산

$$ \begin{array}{r}H_{\boldsymbol{c}_t}\left(\boldsymbol{x} \mid \boldsymbol{o}_t\right)=\int \boldsymbol{p}\left(\boldsymbol{o}_t \mid \boldsymbol{c}t\right) H{\boldsymbol{c}_t}(\boldsymbol{x}) d \boldsymbol{o}t \\H{\boldsymbol{c}_t}(\boldsymbol{x})=-\int \boldsymbol{p}\left(\boldsymbol{x} \mid \boldsymbol{O}_t, \boldsymbol{C}_t\right) \log \boldsymbol{p}\left(\boldsymbol{x} \mid \boldsymbol{O}_t, \boldsymbol{C}_t\right) d \boldsymbol{x}\end{array} $$

 

2. 가장 낮은 엔트로피를 가지는 최적의 viewpoint를 NBV로 선택한다.

$$ \boldsymbol{c}t^*=\operatorname{argmin}{\boldsymbol{c}t} H{\boldsymbol{c}_t}\left(\boldsymbol{x}_t \mid \boldsymbol{o}_t\right) $$

 

3. 상태 추정은 정규 분포 형태 $\boldsymbol{x} \sim \mathcal{N}\left(\widehat{\boldsymbol{x}}_t, \boldsymbol{P}_t\right)$여서 엔트로피는 closed form

$$ H_{\boldsymbol{c}_t}(\boldsymbol{x})=\frac{n}{2}+\frac{1}{2} \log \left(2 \pi^n\left|\boldsymbol{P}_t\right|\right) $$

 

4. (7)을 다음과 같이 표현 가능 ($\boldsymbol{P}_t$ is dependent on $\boldsymbol{c}_t$, not $\boldsymbol{o}_t$)

$$ \boldsymbol{c}t^*=\operatorname{argmin}{\boldsymbol{c}_t}\left|\boldsymbol{P}_t\right| $$

 

Result

1. calibration pattern을 재구성

• 초기 추정치는 두 시점에서 이미지 쌍을 삼각측량
• optimized : 최적화 과정 후 nbv에서 새로운 이미지 얻음
• non-optimized : 초기 위치 사이를 번갈아가며 이미지 얻음

 

2. 마우스 패드 재구성