Githubってなんだっけ?〜『BERT による自然言語処理入門』第五回「HuggingFace Transformers」

AI学習ダイアリー
鮭のちゃんちゃん焼き風 by RIZAP
第4章 HuggingFace Transformers(その1)

ドキドキしている。
本を開くのが怖い。

理由はいろいろある。

1.久しぶりにGoogle Colaboratory (以下、Colab)を使う。
2.Pytorchを使うのは初めてだ(キカガクAIスクールでは、Keras だった)。
3.Gitって何だったっけ?(*1)

*1 文系おじさんなので、プログラミング以前に、パスを通すなどの基本操作でよくつまづく。あと、めったに使うことのないGitやDockerはすぐ忘れる。

こんなとき、

チューターがいてくれたら!

と思うのだが、
とりあえずひとりで先に進もう(*2)
*2 本を出版するだけでなく、有料のオンライン・チューターサービスをつければ、ぜったいにニーズはあるのでは? と思うけど、如何❓

Hugging Faceは、自然言語処理に特化したオープンソースのプラットフォームで、
2016年、ニューヨークで創業。

HPのアイコン、可愛い。

同社が提供するTransformersは、
自然言語処理に用いられるさまざまなAIモデルの実装を提供するライブラリで、
特筆すべきは、
日本語でBERTを使えることだ(*3)

*3 他にも(株)Laboro. AIが、2020年4月17日「Laboro.AI日本語版BERT モデル」をオープンソースとして公開している。

第4章では、
このHuggingFace Transformersの使い方をマスターするのがゴールとなる。

環境構築〜1.計算環境:Google Colaboratory

Transformersのチュートリアルを見ると、

You should install 🤗 Transformers in a virtual environment.
Create a virtual environment with the version of Python you’re going to use and activate it.

Now, if you want to use 🤗 Transformers, you can install it with pip.

とある。

2年前に通ったキカガクのAIスクールは、
仮想環境(virtual environment)の構築(create)、起動(activate)
から始まった。

ターミナルを開き、

cd (使うフォルダをドラッグ&ペースト)

のあと、

python3 -m venv myvenv

でmyvenv(任意)という名前の仮想環境を構築し(初回のみ)、

source myvenv/bin/activate

で、仮想環境を起動。
これを毎回、呪文のように行った。

しかし、
本書では仮想環境は構築せず、
Colab を使う。

Colabには有料版もあるが(*4)
とりあえず無料版で大丈夫みたいだ。

当初、米国とカナダのみで利用可能だった。

*4 実行時間やメモリ容量などの制限を低減する有償プロ版「Colab Pro」(2020年3月)が、2021年3月19日以降、日本でも使えるようになった(月額1,072円)。

2.配布コードの形式とURL

コードは、Githubレポジトリjupyter Notebook 形式でまとめてあります。

レポジトリ❓

さらに、

Github からファイルをGoogle Drive上にアップロードしてください。

ここで文系おじさんは、
完全に凍りついた(つづく)。

Follow me!

PAGE TOP