ニューロモルフィックコンピューティング

～省エネルギーな機械学習のハードウェア実装に向けて～

第 1 章 概　要 
　　1.1 ニューラルネットワークの歴史
　　1.2 ソフトウェアにおけるニューラルネットワーク
　　1.2.1 人工ニューラルネットワーク（ANN）
　　1.2.2 スパイキングニューラルネットワーク（SNN）
　　1.3 ニューロモルフィックハードウェアの必要性
　　1.4 本書の目的と概略
　　文　献

第 2 章 人工ニューラルネットワークの基礎
　　2.1 人工ニューラルネットワークの動作原理
　　2.1.1 推　論
　　2.1.2 学　習
　　2.2 ニューラルネットに基づく機械学習
　　2.2.1 教師あり学習
　　2.2.2 強化学習
　　2.2.3 教師なし学習
　　2.2.4 事例：行動依存の発見的な動的計画法
　　2.2.4.1 Actor?Criticネットワーク
　　2.2.4.2 オンライン学習アルゴリズム
　　2.2.4.3 仮想更新技術
　　2.3 ネットワークトポロジー
　　2.3.1 全結合ニューラルネットワーク
　　2.3.2 畳み込みニューラルネットワーク
　　2.3.3 再帰型ニューラルネットワーク
　　2.4 データセットとベンチマーク
　　2.5 深層学習
　　2.5.1 深層学習以前
　　2.5.2 深層学習の台頭
　　2.5.3 深層学習の技術
　　2.5.3.1 深層学習の性能向上のための技術
　　2.5.3.2 ハードウェアのエネルギー効率を改善させる技術
　　2.5.4 深層ニューラルネットワークの例
　　文　献

第 3 章 ハードウェアでの人工ニューラルネットワーク
　　3.1 概　要
　　3.2 汎用プロセッサ
　　3.3 デジタルアクセラレータ
　　3.3.1 デジタルASICアプローチ
　　3.3.1.1 データ移動とメモリアクセスの最適化
　　3.3.1.2 精度のスケーリング（scaling precision）
　　3.3.1.3 スパース性の利用
　　3.3.2 FPGAを基盤とするアクセラレータ
　　3.4 アナログ・ミックスドシグナルアクセラレータ（analog/mixed-signal accelerators）
　　3.4.1 従来の集積技術におけるニューラルネットワーク
　　3.4.1.1 イン/ニアメモリコンピューティング
　　3.4.1.2 ニアセンサーコンピューティング
　　3.4.2 新興の非揮発性メモリに基づくニューラルネットワーク
　　3.4.2.1 大規模並列エンジンとしてのクロスバー
　　3.4.2.2 クロスバーでの学習
　　3.4.3 オプティカルアクセラレータ
　　3.5 事例研究：適応型動的計画法（ADP）のためのエネルギー効率の高いアクセラレータ
　　3.5.1 ハードウェアアーキテクチャ
　　3.5.1.1 オンチップメモリ
　　3.5.1.2 データパス
　　3.5.1.3 コントローラー
　　3.5.2 設計の例
　　文　献

第 4 章 スパイキングニューラルネットワークの動作原理
　　4.1 スパイキングニューラルネットワーク
　　4.1.1 スパイキングニューロンモデル
　　4.1.1.1 Hodgkin?Huxleyモデル
　　4.1.1.2 Leaky Integrate?and?Fireモデル
　　4.1.1.3 Izhikevichモデル
　　4.1.2 情報の符号化
　　4.1.3 スパイキングニューロンと人工ニューロン
　　4.2 浅い層を持つSNNにおける学習
　　4.2.1 ReSuMe
　　4.2.2 テンポトロン（Tempotron）
　　4.2.3 スパイクタイミング依存可塑性（Spike?Timing?Dependent Plasticity）
　　4.2.4 重み依存性STDPを用いた2層ニューラルネットワークの学習
　　4.2.4.1 動　機
　　4.2.4.2 スパイク時刻を使った勾配の推定
　　4.2.4.3 強化学習の例
　　4.3 深層SNNでの学習
　　4.3.1 SpikeProp
　　4.3.2 浅いネットワークを積み重ねる
　　4.3.3 ANNからSNNへの変換
　　4.3.4 深層SNNにおける誤差逆伝播の最近の進展
　　4.3.5 多層SNNにおける重み依存性STDP変調による学習
　　4.3.5.1 動　機
　　4.3.5.2 重み依存性STDP変調による学習
　　4.3.5.3 シミュレーション結果
　　文　献

第4章　付録：Multi-timescale adaptive threshold モデル（MATモデル）
　　4.付.1 Leaky Integrate and Fire モデル
　　4.付.2 MATモデル
　　4.付.3スパイキングニューロンモデルの比較
　　文　献

第 5 章 スパイキングニューラルネットワークのハードウェア実装
　　5.1 特殊化したハードウェアの必要性
　　5.1.1 Address-Event Representation（AER）
　　5.1.2 イベント駆動型計算（event-driven computation）
　　5.1.3 プログレッシブ精度による推論
　　5.1.4 重み依存性STDP学習則を実装するためのハードウェアの考慮事項
　　5.1.4.1 集中型メモリアーキテクチャ
　　5.1.4.2 分散メモリアーキテクチャ
　　5.2 デジタルSNN（digital SNN）
　　5.2.1 大規模SNN ASIC
　　5.2.1.1 SpiNNaker
　　5.2.1.2 TrueNorth
　　5.2.1.3 Loihi
　　5.2.2 小・中規模デジタルSNN（small/moderate-scale digital SNNs）
　　5.2.2.1 ボトムアップアプローチ
　　5.2.2.2 トップダウンアプローチ
　　5.2.3 SNNにおけるハードウェアに親和性のある強化学習
　　5.2.4 多層SNNにおけるハードウェアに親和性のある教師付き学習
　　5.2.4.1 ハードウェアアーキテクチャ
　　5.2.4.2 CMOS実装結果
　　5.3 アナログ/ミックスドシグナルSNN（analog/mixed?signal SNN）
　　5.3.1 基本的な構成要素
　　5.3.2 大規模アナログ/ミックスドシグナルCMOS SNN（analog/mixed?signal CMOS SNN）
　　5.3.2.1 CAVIAR
　　5.3.2.2 BrainScaleS
　　5.3.2.3 Neurogrid
　　5.3.3 他のアナログ/ミックスドシグナルCMOS SNN ASIC（analog/mixed?signal CMOS SNN ASIC）
　　5.3.4 新興のナノテクノロジーに基づくSNN
　　5.3.4.1 エネルギー効率の高い解決策
　　5.3.4.2 シナプス可塑性
　　5.3.5 事例研究：SNNにおけるクロスバーを基盤とした学習（memristor crossbar based learning in SNNs）
　　5.3.5.1 研究背景
　　5.3.5.2 アルゴリズムの改変
　　5.3.5.3 非理想性（non-idealities）
　　5.3.5.4 ベンチマーク
　　文　献

第 6 章 結　論
　　6.1 展　望
　　6.1.1 脳型コンピュータ（Brain-Inspired Computing）
　　6.1.2 新しいナノテクノロジー
　　6.1.3 ニューロモルフィックシステムによる高信頼なコンピューティング
　　6.1.4 ANNとSNNの融合
　　6.2 結　論
　　文　献

付　録
　　付.1 ホップフィールドネットワーク
　　付.2 ホップフィールドネットワークによるメモリの自己修復
　　文　献