논문 요약: 본 논문에서는 LiDAR 기반 3D 객체 탐지에서 동질성과 이질성을 고려한 새로운 지식 증류 방법인 Joint Homophily and Heterophily Relational Knowledge Distillation (H2RKD)을 제안함.
연구 배경
- 3D 객체 탐지 모델의 성능 향상을 위해 Knowledge Distillation(KD)이 적용되나, Point Cloud의 희소성, 불규칙성, 기하학적 복잡성으로 인해 KD의 일반화 능력이 저해됨.
- 기존 연구들은 교사 모델과 학생 모델 간의 표현 차이를 줄이는 데 초점을 맞추었으며, PointDistiller는 KNN 그래프를 활용하여 로컬 기하 구조를 증류하는 방법을 사용함.
- 그러나 기존 방법들은 주로 동질적 관계(homophily)에 기반하여 학습을 수행하여 차이 관계(heterophily)를 고려하지 않는 문제가 있음.
연구의 필요성
- 강건한 관계 학습을 위해서는 동질성과 이질성 관계를 모두 포함해야 하며, 이는 클래스 내부 일관성 향상 및 클래스 간 변별력 강화에 기여함.
- 본 연구에서는 글로벌 및 로컬 관계를 동시에 증류하여 학생 모델이 교사 모델로부터 효과적으로 지식을 습득하도록 함.
연구 방법론
3.1 Framework Overview
- Collaborative Global Distillation (CGD): 글로벌 관계를 증류하며, feature 간 거리 기반 관계(distance-wise)와 각도 기반 관계(angle-wise)를 모델링함.
- Separate Local Distillation (SLD): 동질성과 이질성을 분리하여 증류하는 모듈로, KNN 기반으로 각각 동질적 그래프와 이질적 그래프를 생성하여 로컬 구조를 반영함.
3.2 Collaborative Global Distillation (CGD)
- 2차 관계: Feature 쌍 간의 거리 기반 관계 (Distance-wise Relation).
- 3차 관계: Feature 삼중항 간의 각도 기반 관계 (Angle-wise Relation).
- Distance-wise RKD Loss와 Angle-wise RKD Loss를 사용하여 글로벌 관계를 효과적으로 증류함.
3.3 Separate Local Distillation (SLD)
- Separate Relation Modeling (SRM):
- 동질적 관계(homophilic graph)와 이질적 관계(heterophilic graph)를 구축.
- 유사성 행렬(W)과 인접 행렬(A)을 반전시켜 이질적 관계를 강조.
- 1-hop 및 2-hop 연결을 동시에 고려하여 로컬 관계를 증류.
- Local Knowledge Distillation Loss: Local Relation Distillation Loss를 통해 로컬 관계를 증류함.
3.4 Loss Function
- Distance-wise RKD Loss
- Angle-wise RKD Loss
- Local Relation Distillation Loss
실험 및 결과
4.1 데이터셋 및 평가 지표
- 데이터셋: KITTI, nuScenes
- 평가지표: mAP(KITTI), NDS(nuScenes)
- 실험 모델: Voxel-based(PointPillars, CenterPoint) 및 Raw Point-based(PointRCNN)
- 실험 환경: RTX 3090
4.2 실험 결과
- 학생 모델은 교사 모델 대비 4배 압축되었으며, 성능 유지 및 계산 비용 절감 효과를 확인함.
- Ablation Study를 통해 글로벌 및 로컬 관계 증류의 효과성을 검증함.
4.3 실험 분석
- 기존 방법들과 비교하여 H2RKD가 높은 성능을 달성하였으며, 클래스 내부의 일관성을 강화하고 클래스 간 변별력을 높이는 데 효과적임.
- KNN 그래프를 동질성과 이질성에 따라 최적화하는 과정이 연구의 핵심 기여점으로 평가됨.
결론
- LiDAR 기반 3D 객체 탐지에서 동질성과 이질성을 모두 고려한 지식 증류 방법을 제안함.
- 글로벌 및 로컬 관계를 동시에 증류하여 3D 객체 탐지 성능을 향상시킴.
- KITTI, nuScenes 벤치마크에서 SOTA 성능을 달성함.
Note: 본 연구는 동질성과 이질성을 모두 활용한 새로운 지식 증류 방법을 제안하며, 3D 객체 탐지 모델의 효율성과 성능 향상에 기여할 수 있음.