새소식

📓 Paper Review

PointRend: Image Segmentation as Rendering

  • -
728x90
Rendering을 응용한 이미지 세분화
: 컴퓨터 그래픽 분야의 렌더링 기법으로 활용되는 Adaptive Subdivision에 영감을 받아 이를 Instance/ Semantic Segmentation Prediction 시에 적용한 방법

 

: 반복적인 subdivision strategy을 기반으로 선택한 위치에서 point 기반 segmentation predictions을 수행하는 모듈

  • 신중하게 선택된 point들에 대해서만 prediction 수행
    • f를 interpolate해서 선택되어진 point에 대해 point-wise feature representation을 추출
    • small point head subnetwork 사용: point-wise feature로부터 output label 예측을 위해

 

3개 Main components

더보기

1. Point selection strategy
2. Point-wise feature representation
   : 선택된 각 point에 대해, point-wise feature representation 추출 (예측)
   (point 별 4-neighborhood: *bilinear interpolation*으로 feature 계산/추출)
   ⇒ feature map보다 *더 높은 해상도*의 segmentation 예측 가능
3. Point head
   : 각 point별 feature representation으로부터 label을 예측하도록 학습됨

  • fine-grained features
    : CNN으로 추출한 feature map 상에서 샘플링한 point마다 특징량을 추출한다.
  • coarse prediction
    : 명확한 context와 의미 정보를 포함
    :각 point는 K-class prediction에 의한 K차원 벡터를 가진다.
  • MLP (새로운 예측)
    : fine-graiend feature map과 coarse prediction mask로부터 계산된 interpolated(보간된) feature를 사용해서
  • 선택된 point마다 특징량이 주어지면 MLP에 의해 point마다 세그멘테이션 예측을 한다.

 

process

  • (2배) upsample (bilinear interpolation)
  • 가장 불확실한 N개 point 선택
  • MLP → 선택된 각 point 예측 정제
  • 계산량 감소
728x90
Contents

포스팅 주소를 복사했습니다

이 글이 도움이 되었다면 공감 부탁드립니다.