# Knowledge Distillation

## Introduction

* SDS에서 작성한 Knowledge Distilation 소개글

{% embed url="<https://post.naver.com/viewer/postView.nhn?volumeNo=20748771&memberNo=36733075>" %}

필요없는 가중치를 제거하는 기법인 Network pruning과 Knowledge Distilation의 기본 개념, 그리고 Teacher-Student Network까지 잘 정리되어 있습니다.

* Awesome Knowledge Distilation - Github

{% embed url="<https://github.com/dkozlov/awesome-knowledge-distillation>" %}

* Tensorflow KR에서 찾을 글 - Github

{% embed url="<https://github.com/sseung0703/KD_methods_with_TF?fbclid=IwAR1ECC_6jOTtOtdoh-AtMdJfJbhCwJU6HTFkz4YkbxTov6KRdD4i1RvmpUQ>" %}

관련 연구분야 논문이 잘 정리되어 있습니다.

## Sota 스러워 보이는 글

{% embed url="<https://clova-ai.blog/2019/08/22/a-comprehensive-overhaul-of-feature-distillation-iccv-2019/?fbclid=IwAR02nkTv4HmWezlGidwYNW3IF0okH126bIH95M5wBl3JgX6Z5vWVZE5Ooy4>" %}