一般向けのDeep Learning

PFI 全体セミナー

岡野原 太輔

http://www.ustream.tv/recorded/33527979

最新情報

  • DeepLearning.net
  • Google + DeepLearning Group
  • 人工知能学会 連載解説「Deep Learning」
    • 各分野の利用方法、歴史、理論、実装について
  1. 2012年に衝撃が走る
  2. あらゆる分野で
    • 学会:tutorial (ICML, ACL, CVPR)
    • ビスネスの嵐
      • Microsoftが音声認識をDeep Learningベース
      • Hinton教授が立ち上げた会社をGoogleに即買収
    • 新聞の取り上げ
  3. どんなものがすごい
    • 一般物体認識の例(LSVRC2012優勝チーム):カテゴリ認識
  4. 歴史
    • 1940年代頃から何度もブームが
      • Perceptron, Back Propagation,…
      • しかし90年代からの長い冬の時代
    • 2006年からDeep Neural Netとしての復活
    • 2010年以降の発展
      • 多くの分野でのベンチマークによる圧勝
      • 大規模なNNからの教師なし学習
        • Google: 1000万枚の画像を利用して、パラメータ数が数十億からなる大規模なNNを2000台(16000コア)1週間で学習
    • なぜDeep Learningがこれほど成功したか
      • 特に大きなbreak through があったわけではない
      • 学習手法の改善
        • Pre Training, Auto Encoder, Dropout, Maxout, 学習率調整
      • 実装技術の改善
        • GPGPUや大規模なクラスタの利用
      • 既存手法(線形分類器、ベイズ、カーネル法)に関してやれることはほぼやった。
  5. Deep Learningによる特徴抽出(=表現学習)
    • 機械学習は次の2つのステップからなると説明した
      • STEP 1: 入力データからの特徴抽出
      • STEP 2: 特徴に対する学習・推論
    • 特徴抽出は今でもドメイン知識や入手による試行錯誤が必要
    • 特徴抽出も自動化? → 表現学習
  6. 表現学習
    • 「実世界の観測情報から本質的な情報を抽出し表現する」方法を学習
    • 主成分分析 (PCA)
    • 情報表現:圧縮、変換、クラスタイング
  7. Deep Learningの場合
    • 階層的に情報表現をより「総合的」かつ「抽象的」な情報に変換していく(各出力は非線形な関数)
    • 具体的なデータをだんだん抽象的なデータに変換する
    • 例: 顔の学習の例
      • 浅いレイヤーは単純なpartを学習(小さい部品、より具体的なもの)。一つな部品を共有できる。
      • 深いレイヤーは全体的な特徴より抽象的なもの
  8. 表現学習をとこんとんやったら? DistBelief [J. Dean +, NIPS 13]
    • 非同期での大規模学習をサポート
      • Onlineの並列学習(SGD)
      • バッチ学習の並列学習(L-BFGS)
      • 16000コアでの並列学習が可能
    • Youtubeから得られた200 x 200の画像1000万枚に対して、教師なし学習
      • Auto Encoderと似たRICAと呼ばれる方法でDNNを学習
      • See more at “Why Deep Learning works with cat neuron”
  9. Deep Learningによる情報表現の獲得
    • 層の数が多いNNによって、観測データから本質的なデータを抽出した。内部表現・潜在表現・特徴表現を抽出する
    • 一度抽出さえできれば簡単な線形分類器でも学習可能
    • 一度抽出したらいろんなタスクに利用可能(特定の課題に特化しているわけではないので)
    • 元々のデータに潜在的な構造があるため
      • 高次元の観測データが低次元の部分空間や多様性上に集中して分布→データの分布に沿った座標系を取ることで効率表現可能
  10. Disentagling
    • 「もつれをほどける」「ほぐれる」という意味
    • 元々のデータが高次元の中で絡まっている状態をうまくほぐして表現することで低次元で単純な情報にする
      • 実際、その後簡単な線形分類器で高精度を達成
      • Googleの例はImage netでの最高制度を達成
    • データに対する仮説:観測データを生み出してている情報源は少数のコンセプト・属性からなるので、そのような少数のコンセプト・属性を見つければよい。
    • 例: 文書の2次元へのマッピング、DNNベースの手法は綺麗に分かれる
  11. DNNの信じる世界
    • 複雑な現象の意味は、それを構成する部品の意味の組み合わせである。
    • DNNはそれを利用する
      • 情報表現も、単純な部品の組み合わせで複雑な情報も表現できる。
      • それは再帰的に学習できる。
  12. まとめ
    • DNNにより、表現学習を行える
    • 構文解析、音声認識、画像認識、映像認識、
    • しかし
      • DNNじゃなくても良いケースがある
      • 3層程度のfully-connected DNN + dropout + maxoutで最高精度

One thought on “一般向けのDeep Learning

  1. Pingback: Deep Learningの全体イメージ(Deep Learning勉強の紹介編②) | Eniod's Blog

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s