Deep Learning + NLP (PFIの勉強会)

  1. Deep Learning とは?
    • Neural Network (input, hidden, output) の拡張: hidden layers >= 2(階層を増やす)
    • Hidden layers:
      • Deep Brief Network
      • Convolutional Neural Network (image recognition)
      • Stacked Auto Encoder
      • Recursive NN
      • Recurrence NN
    • 画像認識精度アップ、音声認識、薬物の活性の推測
  2. Deep Learningの特徴
    • Multi tasks: 異なるtasksに対しての学習を共通のmodelに対して行うことが可能(task A’s output = task B’s input)
    • Multi modals: 異なるモデルでの学習を組み合わせることができ、精度が向上する。関連情報ともに学習する(image + languages,…)
  3. Deep Learningとその自然言語処理への応用
    1. NLPの基本タスク
      • 自然言語処理の基本タスクを行うフレームワーク(Collobert, 2013)
        • 品詞タグ付け
        • チャンキング
        • 固有表現抽出
        • semantic role labelling
      • すべてのタスクでそれまでの代表的な手法と同程度の精度を達成
      • Deep Learningのmulti taskを活かして、モデルを統一
      • 品詞タグ付けとSemantic role labelingにおいて判定は圧倒的に高速
    2. Word embedding
      • 単語表現(50次元ベクトル)→ Deep Learning
      • 隠れ層
        • Window Approach: 前後の単語の情報が単語のタグに影響すると仮定し、前後の単語情報を含めて学習する
        • Time Delay Networks:Window Approachに加え、畳み込みを行うことによって文書全体の情報も学習する
      • マルチタスク学習による精度向上
        • 異なるタスクの学習において単語の表現から隠れ層の途中までを複数タスクに共有することで精度が向上した。
    3. Word Vector (Mikolov, et at. 2013)
      • 単語を低次元のベクトルで表現する方法の学習
      • 似ている単語が近くなるだけでなく、単語同士の関係が保持するような表現となる。
      • 学習モデル:Skip gram
        • 単語(input)に対して前後にどんな単語が出るかを予測するモデル(CBOWの逆)
    4. Recursive Neural Networkによる感情分析(Socher, et al. 2013)
      • N-gramに対して、bottom-upにPositive/Negativeを判定していく
  4. Deep?
    1. CRFとDeep LearningでのNERの比較(Wang, Manning 2013)
      • 固有表現抽出を以下の組み合わせで比較
        • 高次元離散ベクトル
        • 低次元蜜ベクトル(Collobert 2011)
      • 学習
        • CRF
        • Sentence-Level Likelihood Neural Network (Collobert 2011)
      • 結果
        • CRF + 高次元特徴ベクトルが最もいい(本当にDEEPがいる?)
        • + Deep Learning → もっと精度があがる
    2. Paragraph vector
      • Word Vectorの学習時にParagraphをベクトルに変換する写像も一緒に学習する。隠れ層は1つのみ。
      • Paragraph MatrixおよびWord vectorを学習した後は特徴抽出機として扱う
      • 文章からParagraph Matrixを通じて特徴ベクトルに変換
        • ロジスティック回帰
        • Support Vector Machine
        • K-means
  5. まとめ
    • Deep Learningを自然言語処理に用いている例を紹介
      • POS, NER, Chunking, SRL, WSを統一的に扱えるフレームワーク
      • 他の言語と組み合わせたWord Embedding
      • 文書分類
    • Word embedding+従来手法(ロジスティック回帰、分類)を組み合わせることでも精度が上がる例も出ている
      • Deep LearningのテクニックをDeepではないところで使う方法もある。
  6. 元のURL 

 

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s