Step by Step Neural Network

These days, I am learning Neural Network by coding it. So I would like to leave notes on it here. I implemented a multi-class classifier with multi-layer perception with single hidden layer, and used it to build hand-written digit recogniser with MNIST dataset. MNIST dataset is the collection of the hand-written digits between 0 to 9 and has 60,000 training samples and 10,000 test samples.

最近、学習のためにニューラルネットワークを実装したので、その記録をここに残そうと思う。実装したネットワークは隠れ層を一つ持つ多クラス分類機で、MNIST dataset を使って手書き文字の分類を行った。MNIST dataset にはトレーニングデータ 60,000組、テストデータ 10,000組が含まれており、それぞれが手書きの０から９の一桁の数字のどれかの画像になっている。

1. Mathematical Foundation
2. Prototyping
3. Momentum
4. Classic Momentum
5. Nesterov's Accelerated Gradient
6. Mini-batch Update
7. Hyperbolic Tangent
8. Rectified Linear Unit