2014

概要

深層学習 (deep learning) に関する勉強をします。

2014年度は人工知能学会の特集を輪読し、あとはひたすら深層学習の論文を読みます。

メンバー

    • 小町

    • 立花

    • 張

    • 平田

    • 大和田

    • 寅

    • 塘

    • 叶内

    • 北川

    • 堺澤

    • 宮崎

教科書

人工知能学会誌の特集1,2,3,6を読む。

    1. ディープボルツマンマシン入門

    2. 多層ニューラルネットワークによる深層表現の学習

    3. 大規模 Deep Learning の実現技術

    4. 画像認識のための深層学習

    5. 音声認識のための深層学習

    6. 自然言語処理のための深層学習

    7. コントラスティブダイバージェンス法とその周辺

スケジュール

暫定的に毎週月曜日14:40-16:10開催です。

    • 2015/1/06（月）14:40-16:10 論文紹介x1（大和田）

      • Richard Socher, Cliff Chiung-Yu LIn, Andrew Y. Ng and Christopher D. Manning. Parsing Natural Scenes and Natural Language with Recursive Neural Networks. ICML 2011.

過去ログ

    • 2014/12/22（月）14:40-16:10 論文紹介x3（塘・平田）

      • 平田: Ronan Collobert and Jason Weston. A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning. ICML 2008.

      • 塘: Cicero Dos Santos and Bianca Zadrozny. Learning Character-level Representation for Part-of-Speech Tagging. ICML 2014.

    • 2014/12/15（月）15:10-17:00 論文紹介x3（寅・郭・張）

      • 寅: Thomas Deselaers, Sasa Hasan, Oliver Bender, Hermann Ney. A Deep Learning Approach to. Machine Transliteration. WMT 2009.

      • 張: Richard Socher, Jeffrey Pennington, Eric H. Huang, Andrew Y. Ng, Christopher D. Manning. Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions. EMNLP 2011.

      • 郭: Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton. ImageNet Classification with Deep Convolutional Neural Networks. NIPS 2014.

    • 2014/12/08（月）14:40-16:10 論文紹介x3（叶内・北川・立花）

      • 叶内: Learning Image Embeddings using Convolutional Neural Networks for Improved Multi-Modal Semantics. EMNLP 2014.

      • 北川: Linguistic Regularities in Continuous Space Word Representations. NAACL HLT 2013.

      • 立 花: Playing Atari with Deep Reinforcement Learning. NIPS DL Workshop 2013.

    • 2014/12/01（月）14:40-17:30 論文紹介x3（堺澤・宮崎・小町）

      • 堺澤: Quoc Le and Tomas Mikolov. Distributed Representations of Sentences and Documents. ICML 2014. スライド

      • 宮崎: Richard Socher, Brody Huval, Christopher D. Manning, Andrew Y. Ng. Semantic Compositionality through Recursive Matrix-Vector Spaces. EMNLP 2012. スライド

      • 小町: Tomas Mikolov, Kai Chen, Greg Corrado and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. ICLR 2013. スライド

    • 2014/11/24（月）お休み

    • 2014/11/17（月）14:40-16:10 自然言語処理のための深層学習（塘・寅・大和田）

    • 2014/11/10（月）14:40-16:50 大規模 Deep Learning の実現技術（北川・叶内）後半（北川）

    • 2014/10/27（月）14:40-17:10 多層ニューラルネットワークによる深層表現の学習（立花・張・平田）

    • 2014/10/20（月）14:40-16:10 ディープボルツマンマシン入門（堺澤・宮崎）