HTM(Hierarchical Temporal Memory)におけるSP(Spatial Pooler)での学習

今回は大脳新皮質をモデルとした機械学習システムHTMにおけるSP層の学習を簡単なデモと共に紹介していきたいと思います。

以下に簡単なシステム構成を図示します。

この構成の中のSPに当たるのがSpatial Pooler層です。

また、以下のようなColumnが学習のモデルであり、この表面の1層がSprial Poolerとなり、Columnの縦の繋がりがTemporal Poolerとなります。

Spatial Pooler（SP）

では、デモコードと共に実験しながら説明していきたいと思います。

（デモコードはnumenta社が提供している下記サイトのコードを使います。）

github.com

Encode

目的

HTMのSPを使って簡単なカテゴリ分類を行います。

分類するのは、cat, dog, monkey, lorisの４つの単語です。

まずは、SPに入力するためにencode（0,1に変換）を行います。encoderはnumenta社が提供するnupicの中にあるCategoryEncoderを使用します。

では、実行していきます！

ソースコード


import numpy
from nupic.encoders.category import CategoryEncoder
from nupic.algorithms.spatial_pooler import SpatialPooler
categories = ("cat", "dog", "monkey", "slow loris")
encoder = CategoryEncoder(w=3, categoryList=categories, forced=True)
cat = encoder.encode("cat")
dog = encoder.encode("dog")
monkey = encoder.encode("monkey")
loris = encoder.encode("slow loris")
print "cat =       ", cat
print "dog =       ", dog
print "monkey =    ", monkey
print "slow loris =", loris

出力結果

cat = [0 0 0 1 1 1 0 0 0 0 0 0 0 0 0]
dog = [0 0 0 0 0 0 1 1 1 0 0 0 0 0 0]
monkey = [0 0 0 0 0 0 0 0 0 1 1 1 0 0 0]
slow loris = [0 0 0 0 0 0 0 0 0 0 0 0 1 1 1]

CategoryEncoder(w=3, categoryList=categories, forced=True)

w=3：　１つの単語を3bitで表す。

categoryList=cotegories：　カテゴリ分類するリストの設定

（ categories = （("cat", "dog", "monkey", "slow loris")））

出力結果を見てみると、3つの１でそれぞれの単語が表されていることが分かる。

Spatial Poolerの学習

Spatial Ploolerの学習をシナプスの繋がりを見ながら実験を行なっていきたいと思います。


ソースコード

sp = SpatialPooler(inputDimensions=(15,),
                   columnDimensions=(4,),
                   potentialRadius=15,
                   numActiveColumnsPerInhArea=1,
                   globalInhibition=True,
                   synPermActiveInc=0.03,
                   potentialPct=1.0)
print "------------"*4
for column in xrange(4):
    connected = numpy.zeros((15,), dtype="int")
    sp.getConnectedSynapses(column, connected)
    print connected
output = numpy.zeros((4,), dtype="int")
print "------------"*4
print "20回の学習"
for _ in xrange(20):
    sp.compute(cat, learn=True, activeArray=output)
print "------------"*4
print "output", output
print "------------"*4
for column in xrange(4):
    connected = numpy.zeros((15,), dtype="int")
    sp.getConnectedSynapses(column, connected)
    print connected
print "============"*4
print "200回の学習"
for _ in xrange(200):
    sp.compute(cat, learn=True, activeArray=output)
print "============"*4
for column in xrange(4):
    connected = numpy.zeros((15,), dtype="int")
    sp.getConnectedSynapses(column, connected)
    print connected

出力結果

------------------------------------------------
シナプス
[0 0 0 0 1 0 1 0 1 1 0 0 1 0 0]
[0 0 0 1 1 1 1 1 0 1 1 1 1 1 0]
[0 1 1 0 1 0 0 1 1 1 0 0 1 1 1]
[0 0 1 0 0 1 0 0 1 0 1 0 1 1 1]
------------------------------------------------
output [0 0 0 0]
================================================
20回の学習
================================================
output [0 1 0 0]
------------------------------------------------
シナプス
[0 0 0 0 1 0 1 0 1 1 0 0 1 0 0]
[0 0 0 1 1 1 1 1 0 0 0 1 1 1 0]
[0 1 1 0 1 0 0 1 1 1 0 0 1 1 1]
[0 0 1 0 0 1 0 0 1 0 1 0 1 1 1]
================================================
200回の学習
================================================
[0 0 0 0 1 0 1 0 1 1 0 0 1 0 0]
[0 0 0 1 1 1 0 0 0 0 0 0 0 0 0]
[0 1 1 0 1 0 0 1 1 1 0 0 1 1 1]
[0 0 1 0 0 1 0 0 1 0 1 0 1 1 1]