自然言語処理いやAIの最先端、GPT-3までの果てしない道!〜夏休み気分はもう終わりだ!

めざせ!AI スペシャリスト
のんびり「アボガドのチーズ焼き」を作っている場合では・・・

おいてけぼりをくった気分で、あぜんとしている。

のんびりしすぎた?

最近、GPT-3(*1)が、
AI界に衝撃を与えている。
先日の松尾豊氏の特別講義でも触れられていた。

なにがすごいのか?

たとえば、

わずか3行程度の例文を読み込ませるだけで、
それらしいニュース記事を作ってしまう!

というだけでなく、

「Googleっぽいページを作って」
と入力するだけで、
Webページのソースコードを生成し、
デザインまでしてしまう!

とか、

架空のタイトルとアーティストを与えるだけで、
音楽を作曲する!

など、
ちょっと信じられないほどすごいのだ。
(以上の話は、この記事を参照)

AIは、
もうそんなところまで行ってしまったのか。

これが実用化されれば、
Web デザイナーとか、
プログラマーとか、
いらなくなるのでは。

いや、そもそも、
AIを勉強する意味がなくなるのでは。

という不安もあるが、
いきなりおいてけぼりをくった感のほうが強い。

将来どうなるかわからないが、
いままでの積み重ねをムダにしたくない。

自分といえば、
自然言語処理にターゲットを絞り勉強してきたつもりだったが、
GPT-3どころかGPT-2
いや、BERT(*2)さえまだなのだ。

キカガクのAIスクールでは、
RNNを使ったseq2seqモデル(*3)で、
俳句の自動生成にチャレンジした。

そこからみれば、
LSTMを使ったseq2seqモデル(*4)
さらに、
Attention付きseq2seqモデル(*5)
そして、
Transformer(*6)と続き、
ようやく、
BERTの出番となる。

まずは、
『ゼロから作るDeep Learning 2〜自然言語処理編』
を再読し、
Attention付きseq2seqモデルまでを学習し、

さあ、2周目!

『つくりながら学ぶ! PyTorchによる発展ディープラーニング』
で、BERTまで行こう。

BERTの実装まで!

ちょっと心に火がついた。
いつまでも夏休み気分ではいられない。

まだまだ夏だけど、ガマンガマン!(石川県庁近くの公園)

*1 GPT-3 : Generative Pretrained Transformerは、1750億個のパラメータを使用した文章生成言語モデルで、OpenAIという人工知能を研究する非営利団体が制作したもの。
GPT-3 そのものは非公開で、一部のエンジニアにAPIが公開されている(2020年8月現在)。
*2 BERT : Bidirectional Encoder Representations from Transformers の略で、TransformerのEncoderを使っているモデル。
*3 RNN : Recurrent Neural Networkの略(日本語では、再帰ニューラルネットワーク)時系列データを扱うため、ある時点の入力が、それ以降の出力に影響を及ぼすように、ループする経路を持つのが特徴。なお、seq2seqとは、(from) sequence to sequenceの略で(日本語では、時系列から時系列へ)RNNを用いたEncoderDecoderモデル(文章生成)の一種。
*4 LSTM : Long short-term memoryの略で、RNNの問題点であるバックプロパゲーション時の勾配消失を解消し、長い記憶を可能にする仕組みを持つRNNの一種。
*5 Attention : 日本語で注意機構。Encoder-Decoderモデルに入出力される要素ごとの関係性、注意箇所を学習するメカニズム。
*6 Transformer : RNNはGPUが得意とする並列化処理が苦手なため、RNNの代わりにAttentionを活用したモデルで、論文「Attention Is All You Need」で提唱された。

Follow me!