AI学習ダイアリー 『BERT による自然言語処理入門』を読む〜第一回「NLPとは?」 第1章 はじめに 本章は、 1.自然言語処理(NLP)とはなにか から始まる。 経験上、 まず、ここが落とし穴だ。 NLPは、 学会や専門誌もあるくらい学術的なもので、 一から学ぼうとすると、 AIの「ニューラル言語モデル」にたどり着くまで... 2021.08.14 AI学習ダイアリー
AI学習ダイアリー Transformerがすべてを変えた‼️〜『BERTによる自然言語処理入門』 先日、本屋(大阪・梅田の紀伊國屋書店)で、 『BERTによる自然言語処理入門』 を手にして、思い出した。 AIスクールでKeras のFunctional APIを使って、 俳句(らしきもの)を詠んだのって、 もう2年前なんだなぁ〜。 あの... 2021.08.13 AI学習ダイアリー
AI学習ダイアリー 推測統計学は推理小説(ミステリー)⁉️〜その前提はランダムサンプリング❗️ さて、お待ちかねの「推測統計学」。 『マンガでわかる統計学』冒頭の、 一部のデータをもとに全体を推測する「推測統計学」。 これこそ、統計の醍醐味! というあおり文句で、 一気にテンションも上がるというものだ。 その勢いのまま、前のめりにペー... 2021.04.24 AI学習ダイアリー
AI学習ダイアリー 二項分布の近似は、超かんたん!〜記述統計学、これにて終了! 前回、こんな話をした。 たとえば、 サイコロを720回投げて、6の目が150回以上出る確率は? という問題。 というとんでもないことになるので、 正規分布で近似する。 *個数が大きくなれば、というが、サイコロなら30個以上が目安だそう。 (... 2021.04.16 AI学習ダイアリー
AI学習ダイアリー 人生は二択だ!〜二項分布を正規分布とポワソン分布で近似する! 人生は二択だ! このひとと結婚するかしないか? このテレビ番組を見るか見ないか? 60歳の定年で会社を辞めるか辞めないか? などなど、二者択一(トレード・オフ)の場面は多い。 このように、 ある行動や試行に対して、 結果が2つしかない場合の... 2021.04.10 AI学習ダイアリー
AI学習ダイアリー 正規分布の神様になる‼️〜正規分布の標準化にチャレンジ❗️ 世の中には正規分布があふれていて、 正規分布はμ(平均)とσ(標準偏差)がわかればすべてわかる。 とはいうものの、 いちいち計算するのはめんどくさい。 なので、 正規分布に従うならどんな場合でも使える「標準正規分布」を設定して、 その数表「... 2021.04.09 AI学習ダイアリー
AI学習ダイアリー 世の中は正規分布であふれてる〜統計学の基本「正規分布」とは? 平均を頂点とし、 標準偏差を左右の広がりの度合いとして分布するデータを、 正規分布という。 たとえば、 男子の身長のデータをたくさん集めたら、 多分、 平均170cmくらいが最頻値(頂点)で、 データのばらつき(左右の広がり具合)は、 ±6... 2021.04.03 AI学習ダイアリー
AI学習ダイアリー この方法でもう絶対忘れん‼️〜分散・標準偏差の公式を! 『改訂版 統計のはなし』で、 著者の大村平は、 統計的なものの見方、ものの考え方ができなければ、それは、社会人としては失格だ と、統計学の必要性を述べている。 おっしゃるとおりなのだが、 統計学を学習しようとして、 何度挫折したことか(泣)... 2021.03.27 AI学習ダイアリー
AI学習ダイアリー バスの待ち時間の確率は?〜数式なしで確率密度関数を理解する❗️ 「10分おきに出るバスがある。さて、何分待つ?」 という問題を、前回学んだ「確率分布」を使って考えてみる。 これを1分後、2分後、・・・、10分後と、 サイコロの目のようにとびとびの変数で考え、 1分待つ確率は1/10? 5分なら1/2? ... 2021.03.19 AI学習ダイアリー
AI学習ダイアリー ヒストグラムから確率分布へ!〜『確率思考の戦略論』 サイコロを2個振って出る目の和は2から最大12までの11通りで、 これらのすべての可能性について列挙したものを「確率分布」という。 これを表または式で表すと、こんな感じになる。 前回、度数で描いたヒストグラムを割合(相対度数)で描き直すと、... 2021.03.18 AI学習ダイアリー