ニューラルネットワーク量子化のSurvey

一般的にニューラルネットワークは浮動小数点数を用いて学習が行われます。しかし、組込み機器などで使われるプロセッサ（もしくはマイコン）は浮動小数点ユニットを持たないものも少なくありません。また、使用できるメモリ容量も少なく、大規模のネットワークでは係数やデータがメモリに収まりきらなくなってしまいます。そこで、係数やデータを整数や固定小数点数に量子化することで、組込み機器でもより大きなネットワークの実行を可能とするための研究がされています。今回は、2018年に発表したSurvey論文[Guo2018]の内容を元にネットワーク量子化の概要についてまとめてみました。

[Guo2018] Guo, Yunhui. A survey on methods and theories of quantized neural networks. arXiv preprint arXiv:1808.04752, 2018.