よくもこれだけの内容を20ページにまとめたもんだ‼️
この章、内容がむちゃくちゃ濃い。
から、解説はスタート。
形態素解析ってなに❓
という向きには
代表的な形態素解析の理論書
『形態素解析の理論と実装』を読んでみて
と著者は言っているが、
ここも決して、いま、踏み込んではいけない。
C++で実装している全４巻の専門書の第２巻
(kindleのセールで昔、買ったけれども、未読。)
また、
形態素解析ツールの、
Mecab, Sudachi, Jumanなどは、
このあと実装で使うので、後回しでいい。
ここでは、
ことをおさえたい。
次に、いよいよ
２．ニューラル言語モデル(ニューラルネットワークを使った言語モデル)
が出てくるが、
ニューラルネットワークってなに？
という向きには、
(開発が中止されたが日本製のフレームワーク)「Chainer」のチュートリアル13章がおすすめ、
と紹介されている(よくまとまっていて、復習の意味でも一読の価値あり)。
ここに、
ニューラルネットワークとは、微分可能な変換を繋げて作られた計算グラフ
という説明があるが、
この部分は、ＡＩ学習の必読書、
『ゼロから作るDeep Learning 』で、
実際に計算グラフのしくみを理解したいところ。
これを読まずして何を読むという名著
次に、
ニューラルネットワークで言語モデルを実現する方法の説明があり、
具体例として、
② ELMo(2018年発表)
が挙げられている。
① Word2Vecの理解にも時間がかかるが、
問題は、
② ELMoの説明のなかに、RNNやLSTMの説明があり、
ここを飛ばすと先には進めない。
この部分は、NLP学習の必読書、
『ゼロから作るDeep Learning❷ 自然言語処理編』で、
実際にコードを見てしくみを頭に入れるのがおすすめだが、
膨大なエネルギーと時間が必要だ。
何度も読み返した一冊。
すぐそこの第３章からBERTが始まるのだが、
そこまでたどりつく道が険しすぎる。
踏ん張りどころだ。
Follow me!
