人工知能企業・ヌメンタ（Numenta）の共同創設者ジェフ・ホーキンス（Jeff Hawkins）氏は、海外メディアへの寄稿で「ディープラーニングに代表されるニューラルネットワークもすでに旧式だ」としている。ホーキンス氏らは、人間の脳と最も似ていると評価される人工知能であり、大脳新皮質をモデル化することを目標としたアルゴリズム「階層型時間メモリ（Hierarchical Temporal Memory 、以下HTM）」を研究している。
ホーキンス氏によれば、人間の脳は、「SDRs」（稀分散表現＝sparse distributed representations）方式で情報を再現する。皮質内のニューロンは、互いに複雑に接続されているが、私たちが何かを表示したり、思い出すとき（脳を使う時）活性化されているのはごく一部である。
そして、記憶は時系列的なパターンの連続である。人間は行動しながら学習する。従って、学習は後を絶たず、継続される。ニューロンも時空間的なパターンを覚えている。いくつかのものを捨てて、いくつかのものはすぐに思い浮かべられるようにできるよう位階を置く。人間のニューロンは、そのように単純なニューラルネットワークよりもはるかに複雑で精巧だ。
人間の脳は、自分の行動と注視対象を観察し、短期記憶を絶えず引き出しながら、これからどのようにすべきかを考える。このような特性をHTMが採用している点が、他の人工知能とは異なるというのが、ホーキンス氏の説明だ。
特徴量の抽出を連続して行う点では深層学習に近そうだけど、自分の行動と注視対象を観察して〜はフレーム問題が発生しそうなものだが。