ブログ記事だと歯抜けしているが、今日は損失関数について学習している。
学習時に推論の正解例に何%の確率で正解を指定しているか？を損失関数として定義する。が単純に思いつくやり方だが、実際はクロスエントロピーを用いている。
大量のパラメーターをどうやっていじれば最適になるのかは、勾配降下法と誤差逆伝播法を用いて行われている。
Optimizerを利用することがおおいい。AdamとかAdamKとか。
パラメーター事に変更する振れ幅が違う。それならパラメーター事に更新の重みを変えたほうがよくない？となってでてきているのがAdamである。
Tokenizerの部分で単語をどうやって区切るのか？は気になったけどそっちはそっちでアルゴリズムがあるとのこと。例えば、BPE（Byte Pair Encodingなどがあるとのこと。
大枠は掴めてきたのでPythonでコード書きながら理解していく方式に移動する