Knowledge Distillation

Introduction

• SDS에서 작성한 Knowledge Distilation 소개글

인공지능 경량화 기술 동향

필요없는 가중치를 제거하는 기법인 Network pruning과 Knowledge Distilation의 기본 개념, 그리고 Teacher-Student Network까지 잘 정리되어 있습니다.

• Awesome Knowledge Distilation - Github

GitHub - dkozlov/awesome-knowledge-distillation: Awesome Knowledge DistillationGitHub

• Tensorflow KR에서 찾을 글 - Github

GitHub - sseung0703/KD_methods_with_TF: Knowledge distillation methods implemented with Tensorflow (now there are 11 (+1) methods, and will be added more.)GitHub

관련 연구분야 논문이 잘 정리되어 있습니다.

Sota 스러워 보이는 글

A Comprehensive Overhaul of Feature Distillation (ICCV 2019)Clova AI Research Blog