Knowledge Distillation

Introduction
SDS에서 작성한 Knowledge Distilation 소개글
인공지능 경량화 기술 동향
[BY 삼성SDS] Deep Neural Network 경량화의 필요성2012년 이미지 분류 대회인 ILSVRC(ImageNet Large-S...
post.naver.com
필요없는 가중치를 제거하는 기법인 Network pruning과 Knowledge Distilation의 기본 개념, 그리고 Teacher-Student Network까지 잘 정리되어 있습니다.
Awesome Knowledge Distilation - Github
dkozlov/awesome-knowledge-distillation
Awesome Knowledge Distillation. Contribute to dkozlov/awesome-knowledge-distillation development by creating an account on GitHub.
github.com
Tensorflow KR에서 찾을 글 - Github
sseung0703/KD_methods_with_TF
Knowledge distillation methods implemented with Tensorflow (now there are 11 (+1) methods, and  will be added more.) - sseung0703/KD_methods_with_TF
github.com
관련 연구분야 논문이 잘 정리되어 있습니다.
Sota 스러워 보이는 글
A Comprehensive Overhaul of Feature Distillation (ICCV 2019)
Byeongho Heo, Jeesoo Kim, Sangdoo Yun, Hyojin Park, Nojun Kwak, Jin Young Choi arXiv Github Project Page Knowledge Distillation in a Nutshell The general process of knowledge distillation Knowledge…
clova-ai.blog
​
Distilling the Knowledge in a Neural Network
Last updated 1 year ago