2020
概要
深層学習の基礎を身につけるために、「深層学習による自然言語処理」を輪読します。
勉強会の前までに各自で本文を読んで来てください。
勉強会では適当に指名して本文を読んでもらい、必要に応じて解説もしてもらいます。
メンバー
TA
山下
参加者
相田
蘆田
金
張
喜友名
小山
今藤
田村
スケジュール
開催コマは、毎週火曜日の16:20〜です。
2020-05-19 #1 キックオフ、第1章 自然言語処理のアプローチ
2020-05-26 #2 (張) 第2章 ニューラルネットの基礎 ①（2.1.教師あり学習、2.2.順伝播型ニューラルネット、2.3.活性化関数、2.4.勾配法、2.5.誤差逆伝播法）
2020-06-02 #3 (2.1~2.3:喜友名, 2.4,2.5:金) 第2章 ニューラルネットの基礎 ②（2.6.再帰ニューラルネット、2.7.ゲート付き再帰ニューラルネット、2.8.木構造再帰ニューラルネット、2.9.畳み込みニューラルネット）
2020-06-09 #4 (2.6,2.7:今藤, 2.8,2.9:小山) 第3章 言語処理における深層学習の基礎 ①（3.1.準備、3.2.言語モデル）
2020-06-16 #5 (相田) 第3章 言語処理における深層学習の基礎 ②（3.3.分散表現）
2020-06-23 #6 (田村) 第3章 言語処理における深層学習の基礎 ③（3.4.系列変換モデル）
2020-06-30 #7 (蘆田) 第4章 言語処理特有の深層学習の発展 ①（4.1.注意機構、4.2.記憶ネットワーク）
2020-07-07 #8 (張) 第4章 言語処理特有の深層学習の発展 ①（4.3.出力層の高速化）、第5章 応用 ①（5.1.機械翻訳）
2020-07-14 #9 (4.3:喜友名, 5.1:金) 第5章 応用 ②（5.2.文書要約）
2020-07-21 #10 (今藤) 第5章 応用 ③（5.3.対話、5.4.質問応答）
2020-07-28 #11 (相田) 第6章 汎化性能を向上させる技術 ①（6.1.汎化誤差の分解、6.2.推定誤差低減に効く手法）
2020-08-04 #12 (小山) 第6章 汎化性能を向上させる技術 ②（6.3.最適化誤差低減に効く手法、6.4.超パラメータ選択）、第7章 実装 ①（7.1.GPUとGPGPU、7.2.RNNにおけるミニバッチ化）
2020-08-11 #13 (6.3,6.4:田村, 7.1,7.2:蘆田) 第7章 実装 ②（7.3.無作為抽出、7.4.メモリ使用量の削減、7.5.誤差逆伝播法の実装）、第8章 おわりに
過去ログ
2020-05-19 16:20-17:30 #1 キックオフ、第1章 自然言語処理のアプローチ
2020-05-26 16:20-17:45 #2 (張) 第2章 ニューラルネットの基礎 ①（2.1.教師あり学習、2.2.順伝播型ニューラルネット、2.3.活性化関数、2.4.勾配法、2.5.誤差逆伝播法）
2020-06-02 16:20-17:37 #3 (2.1~2.3:喜友名, 2.4,2.5:金) 第2章 ニューラルネットの基礎 ②（2.6.再帰ニューラルネット、2.7.ゲート付き再帰ニューラルネット、2.8.木構造再帰ニューラルネット、2.9.畳み込みニューラルネット）
2020-06-09 16:20-17:32 #4 (2.6,2.7:今藤, 2.8,2.9:小山) 第3章 言語処理における深層学習の基礎 ①（3.1.準備、3.2.言語モデル）
2020-06-16 16:20-17:36 #5 (相田) 第3章 言語処理における深層学習の基礎 ②（3.3.分散表現）
2020-06-23 16:20-17:29 #6 (田村) 第3章 言語処理における深層学習の基礎 ③（3.4.系列変換モデル）
2020-06-30 16:20-17:22 #7 (蘆田) 第4章 言語処理特有の深層学習の発展 ①（4.1.注意機構、4.2.記憶ネットワーク）
2020-07-07 16:20-17:42 #8 (張) 第4章 言語処理特有の深層学習の発展 ①（4.3.出力層の高速化）、第5章 応用 ①（5.1.機械翻訳）
2020-07-14 16:20-17:29 #9 (4.3:喜友名, 5.1:金) 第5章 応用 ②（5.2.文書要約）
2020-07-21 16:20-17:21 #10 (今藤) 第5章 応用 ③（5.3.対話、5.4.質問応答）
2020-07-28 16:20-17:31 #11 (相田) 第6章 汎化性能を向上させる技術 ①（6.1.汎化誤差の分解、6.2.推定誤差低減に効く手法）
2020-08-04 16:20-17:57 #12 (小山) 第6章 汎化性能を向上させる技術 ②（6.3.最適化誤差低減に効く手法、6.4.超パラメータ選択）、第7章 実装 ①（7.1.GPUとGPGPU、7.2.RNNにおけるミニバッチ化）