BERTへの道、遠し！〜『BERT による自然言語処理入門』第ニ回「ニューラル言語モデル」

よくもこれだけの内容を20ページにまとめたもんだ‼️
この章、内容がむちゃくちゃ濃い。

から、解説はスタート。

形態素解析ってなに❓

という向きには

代表的な形態素解析の理論書
『形態素解析の理論と実装』を読んでみて

と著者は言っているが、
ここも決して、いま、踏み込んではいけない。

C++で実装している全４巻の専門書の第２巻

(kindleのセールで昔、買ったけれども、未読。)

また、
形態素解析ツールの、
Mecab, Sudachi, Jumanなどは、
このあと実装で使うので、後回しでいい。

ここでは、

ことをおさえたい。

次に、いよいよ
２．ニューラル言語モデル(ニューラルネットワークを使った言語モデル)
が出てくるが、

ニューラルネットワークってなに？

という向きには、

(開発が中止されたが日本製のフレームワーク)「Chainer」のチュートリアル13章がおすすめ、

と紹介されている(よくまとまっていて、復習の意味でも一読の価値あり)。

ここに、

ニューラルネットワークとは、微分可能な変換を繋げて作られた計算グラフ

という説明があるが、
この部分は、ＡＩ学習の必読書、
『ゼロから作るDeep Learning 』で、
実際に計算グラフのしくみを理解したいところ。

これを読まずして何を読むという名著

次に、
ニューラルネットワークで言語モデルを実現する方法の説明があり、
具体例として、

が挙げられている。

① Word2Vecの理解にも時間がかかるが、
問題は、
② ELMoの説明のなかに、RNNやLSTMの説明があり、
ここを飛ばすと先には進めない。

この部分は、NLP学習の必読書、
『ゼロから作るDeep Learning❷ 自然言語処理編』で、
実際にコードを見てしくみを頭に入れるのがおすすめだが、
膨大なエネルギーと時間が必要だ。

何度も読み返した一冊。

すぐそこの第３章からBERTが始まるのだが、
そこまでたどりつく道が険しすぎる。

踏ん張りどころだ。

Follow me!