PointRend: Image Segmentation as Rendering

Rendering을 응용한 이미지 세분화
: 컴퓨터 그래픽 분야의 렌더링 기법으로 활용되는 Adaptive Subdivision에 영감을 받아 이를 Instance/ Semantic Segmentation Prediction 시에 적용한 방법

 

: 반복적인 subdivision strategy을 기반으로 선택한 위치에서 point 기반 segmentation predictions을 수행하는 모듈

• 신중하게 선택된 point들에 대해서만 prediction 수행
  • f를 interpolate해서 선택되어진 point에 대해 point-wise feature representation을 추출
  • small point head subnetwork 사용: point-wise feature로부터 output label 예측을 위해

 

3개 Main components

1. Point selection strategy
2. Point-wise feature representation
   : 선택된 각 point에 대해, point-wise feature representation 추출 (예측)
   (point 별 4-neighborhood: *bilinear interpolation*으로 feature 계산/추출)
   ⇒ feature map보다 *더 높은 해상도*의 segmentation 예측 가능
3. Point head
   : 각 point별 feature representation으로부터 label을 예측하도록 학습됨

• fine-grained features
  : CNN으로 추출한 feature map 상에서 샘플링한 point마다 특징량을 추출한다.
• coarse prediction
  : 명확한 context와 의미 정보를 포함
  :각 point는 K-class prediction에 의한 K차원 벡터를 가진다.
• MLP (새로운 예측)
  : fine-graiend feature map과 coarse prediction mask로부터 계산된 interpolated(보간된) feature를 사용해서
• 선택된 point마다 특징량이 주어지면 MLP에 의해 point마다 세그멘테이션 예측을 한다.

 

process

• (2배) upsample (bilinear interpolation)
• 가장 불확실한 N개 point 선택
• MLP → 선택된 각 point 예측 정제
• 계산량 감소