猫認識とおばあさん細胞(Deep Learning勉強の紹介編①)

このリンクを参照しました。

http://d.hatena.ne.jp/Zellij/20130608/p1

2012年6月ごろ、ネット上では下の画像と「Googleの研究者によって、コンピューターは猫がどういうものであるか人間に教えられることなく、自力で理解できた」というニュースが飛びなり、一瞬驚きながら、「何?意味不明?」ということである。アルバイトの上司である米本さんに聞かれても、「How?」から始まる質問を答えることができなかった僕は何か恥ずかしい。

Google cat deeplearning

Google cat deep learning

溢れる記事の中で本質を理解しようとするとき、やはり元の原本を読むしかない(さすがGoogle)。

http://googleblog.blogspot.jp/2012/06/using-large-scale-brain-simulations-for.html

Cat Deep Learning paper

Cat Deep Learning paper

要約

  • Youtubeの動画から、ランダムに取り出した200 x 200 pixelの画像を1000万枚(人間の顔、猫などが含まれる画像がたくさんあった)でDeep Learningを行った。
  • Deep Learningは多段階のニューラルネットワークを構成する。入力層は各画像のRGBの値(200 x 200 = 40,000)であり、Googleの論文では9つの階層を構築した。
  • 1000台のコンピューターで3日かけて学習を行った。
  • Result: 人間の顔、猫の顔、人間の体の写真に反応するニューロンができた。
  • 結局、結論としては
    • ニューラルネットワークにニューロンはたくさんあり、顔(また猫)画像群を入力としたときに、もっとも強く反応するニューロンを選び出す。そのニューロンの反応度を観察することで、入力画像が「顔」(また「猫」)であるか、でないか精度よく識別することができた。
    • つまり、教師なし学習によって「顔に強く反応するニューロン」「猫に強く反応するニューロン」が生まれた。
    • では、「反応する」とは?たとえ、最後の出力「A」「B」「C」はであり、入力が与えられるときに、「Aである確率」はAの「入力に対する反応度」を表す。

このニューロンが最も強く反応した順番に並べた写真群が次のもの。

ニューロンに反応順

ニューロンに反応順

次に、論文のすごいところは「ニューロンが最も強く反応する画像を作り出した」ということ。最適化によって、このニューロンがより強く反応するのはどのような画像であるかを、人工的に作り出したものが次。これは「おばあさん細胞」と呼ばれる。

おばあさん細胞

おばあさん細胞

同じく、機械学習によって「猫に反応するニューロン」も生まれ、この猫ニューロンが最も強く反応する画像が冒頭の猫画像。コンピュータが「もっとも猫らしい猫」と判断する画像というわけだ。
Google cat deeplearning今回の研究は Googleが持つ、膨大なデータと膨大な計算リソースを潤沢に使って、それまでの研究とはケタが違う規模の実験を行ったことによる成果である、と評価することができる。

それでも、実際の人間の脳のネットワークと比べると、100万分の1の規模だというのだから、まだまだ発展の余地が残されている。

One thought on “猫認識とおばあさん細胞(Deep Learning勉強の紹介編①)

  1. Pingback: Deep Learningの全体イメージ(Deep Learning勉強の紹介編②) | Eniod's Blog

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s