NLPの前処理は大変！〜『BERT による自然言語処理入門』第七回「HuggingFace Transformers」(その３）

４．Transformers

この項では、
Transformersというライブラリで、
単語の分散表現を得るために、

１．Tokenizerで、文章データをBERTに入力可能な形に変換する(符号化)

２．BertModelに、符号化データを入力して出力（トークンの分散表現）を得る

まずは、

１．Tokenizer(トークナイザ)

いくらA Iが賢いといっても、
日本語をそのまま受け付けるわけではない。

BERTの日本語モデル(＊１)のトークナイザでは、

１．文章をMecab (＊２)で単語に分割し、

さらに、

２．WordPieceでトークンに分割するのだ。

さらにさらに、
トークン化しただけではだめで、

トークンを数字(ID)に変換する(符号化)。

さらにさらにさらに、

系列長(トークン列の長さ)を揃えるために、paddingとtruncationを行い、

データ形式をtorch. Tensor(＊３)にするために、tokenizer関数の引数に、return_tensors=‘ptを加える。

ここまでお化粧して初めて、
BERT様に文章データを入力できるのだ。

これら一連の処理を、
「データの前処理」という(＊４)。

＊１本書では、東北大学の研究チームによって開発された、cl-tohoku/bert-base-japanese-whole-world-maskingという日本語のモデルを「日本語モデル」と呼んでいる。

＊２　PythonでMecabを使えるライブラリとしてFugashiを使っているが、Janomeというものもある。

＊３　Pytorchの多次元配列を扱う型。機械学習のために必要なテンソルの概念は数学だ‼️

＊４　NLPの作業で一番大変なのは前処理で、初心者(わたしです)はたいていここで挫折する。ちなみに前処理としては他に、テキストのクリーニング(例えば、スクレイピングしたテキストからHTMLタグを除去するなど)、単語の正規化(文字種の統一、つづりや表記揺れの吸収など)、ストップワードの除去(は、の、です、ます、など役に立たない単語を処理対象外とする作業)などがある(『機械学習・深層学習による自然言語処理入門』より)。