おいてけぼりをくった気分で、あぜんとしている。
のんびりしすぎた？
最近、GPT-3(＊1)が、
ＡＩ界に衝撃を与えている。
先日の松尾豊氏の特別講義でも触れられていた。
なにがすごいのか？
たとえば、
わずか３行程度の例文を読み込ませるだけで、
それらしいニュース記事を作ってしまう！
というだけでなく、
「Googleっぽいページを作って」
と入力するだけで、
Webページのソースコードを生成し、
デザインまでしてしまう！
とか、
架空のタイトルとアーティストを与えるだけで、
音楽を作曲する！
など、
ちょっと信じられないほどすごいのだ。
(以上の話は、この記事を参照)
ＡＩは、
もうそんなところまで行ってしまったのか。
これが実用化されれば、
Web デザイナーとか、
プログラマーとか、
いらなくなるのでは。
いや、そもそも、
ＡＩを勉強する意味がなくなるのでは。
という不安もあるが、
いきなりおいてけぼりをくった感のほうが強い。
将来どうなるかわからないが、
いままでの積み重ねをムダにしたくない。
自分といえば、
自然言語処理にターゲットを絞り勉強してきたつもりだったが、
GPT-3どころかGPT-2、
いや、BERT(＊２)さえまだなのだ。
キカガクのＡＩスクールでは、
RNNを使ったseq2seqモデル(＊３)で、
俳句の自動生成にチャレンジした。
そこからみれば、
LSTMを使ったseq2seqモデル(＊４)
さらに、
Attention付きseq2seqモデル(＊５)
そして、
Transformer(＊６)と続き、
ようやく、
BERTの出番となる。
まずは、
『ゼロから作るDeep Learning 2〜自然言語処理編』
を再読し、
Attention付きseq2seqモデルまでを学習し、
さあ、２周目！
『つくりながら学ぶ！ PyTorchによる発展ディープラーニング』
で、BERTまで行こう。
BERTの実装まで！
ちょっと心に火がついた。
いつまでも夏休み気分ではいられない。
まだまだ夏だけど、ガマンガマン！（石川県庁近くの公園）
Follow me!
