TL;DR
大きなニューラルネットワークや、複数のモデルを組み合わせたアンサンブルが持つ知識を、運用しやすい小さな単一のモデルに移す手法。
なぜ必要か
Hinton らの論文によると、同じデータで複数のモデルを訓練して予測を平均すると、ほとんどの機械学習の手法で性能が上がる。ただし、アンサンブル全体で予測するのは計算量が大きく、多くのユーザーに提供するのは難しい。個々のモデルが大きなニューラルネットワークだと、なおさらである。
仕組み
論文は、Caruana らが示した「アンサンブルの知識を単一のモデルに圧縮できる」という考えを、別の圧縮の手法で発展させている。論文では MNIST で効果を示し、広く使われている商用システムの音響モデルでも、アンサンブルを 1 つのモデルに蒸留して性能を大きく上げた。