先日、本屋(大阪・梅田の紀伊國屋書店)で、
『BERTによる自然言語処理入門』
を手にして、思い出した。
表紙もいい感じ。
ＡＩスクールでKeras のFunctional APIを使って、
俳句(らしきもの)を詠んだのって、
もう２年前なんだなぁ〜。
俳句(らしきもの)を詠んだのって、
もう２年前なんだなぁ〜。
あのとき(2019年)は、
LSTMもない初歩のRNNを使ったのだった。
Functional APIのイメージ（Keras公式ページ）
しかし、
その頃すでにRNNは行き詰まっていて、
2017年にGoogleとトロント大学の研究者により、
Transformerが開発されすべてが変わろうとしていた。
このTransformerをベースに、
2018年にBERTが、
2020年にはGPT-3が登場し、
NLPが一躍ＡＩの有望分野に躍り出たのだ。
そのBERTの入門書がとうとう発売された。
特筆すべきは、
英語ではなく、日本語のデータセットを使って、
いろいろなタスクをBERTで解いていく点だ。
本書で使われているのは、
プログラム言語は、Python。
フレームワークは、PyTorch。
環境は、Google Colaboratory。
フレームワークは、PyTorch。
環境は、Google Colaboratory。
どれもなじみのあるものばかりだ。
もう一度、やってみるか。
気持ちに火がついた。
２年たったいまも、
ただの文系おじさんのままだけど、
この本を道しるべに、
NLP、再チャレンジだ‼️
Follow me!
