ミニGPTラボ
生成AIと共通するTransformerの考え方を、小さな実験で試そう。能力や学習量は大きく違うよ。
計算エンジン
エンジン準備中…
1生成AIのしくみ＝「次の文字あてゲーム」＋「ちゅうもく」
ChatGPTのような生成AIは、「次に来る文字（ことば）を当てるゲーム」をものすごい回数練習したものです。
きょうのてんきは？
は42%
く21%
あ13%
ゆ7%
…その他
上の数字は説明用の架空例です。実際のAIは、続きの候補へ計算上の割合を割り振り、そこから次を選びます。
うまく予測するためのしくみの一つがアテンションです。前に出た文字同士の関係を計算し、次の文字を選ぶ手がかりにします。このページのAIは、小型のTransformerです。ChatGPTにもTransformerの考え方が使われていますが、学習量も能力もこの実験とは大きく違います。色の濃い部分だけで、AIがそう答えた理由を全部説明することはできません。
2AIを学習させよう
お手本の文章を選んで「学習スタート」。AIは最初なにも知りませんが、まちがいを直しながらだんだん上手になります。
進み具合 0 / 60 回
まちがい度（loss） -
1回あたり - ms
AIの成長記録がここに表示されます（学習のとちゅうで、ためしに文章を書かせてみます）
3文章を書かせてみよう
書き出しを決めて「書かせる」。ぼうけん度を上げると、確率の低い文字にも挑戦するようになります。生成中は、AIがどの文字に注目しているかも色でリアルタイム表示されます。
まずはステップ2で学習させてね
4AIの「ちゅうもく」をのぞいてみよう（ヒートマップ）
文章を入れると、AIが各文字を読むとき前のどの文字にどれくらい注目したかを色の濃さで表示します。たて＝いま読んでいる文字、よこ＝ふりかえって見ている文字です（未来の文字はカンニングできないので右上は空白）。
学習が終わると使えるようになります
よわいつよい ちゅうもく
5CPU vs GPU 速さくらべ
AIの計算の中身は、巨大なかけ算の表（行列）の計算です。同じ計算をCPUとGPUにやらせて、タイムを競わせてみましょう。
| とくい技 | タイム（平均） | 学習スピード | |
|---|---|---|---|
| CPU | いろいろな仕事を順番に器用にこなす | - | - |
| GPU | 単純な計算を何千個も同時にこなす | - | - |
※「学習スピード」は、そのエンジンでステップ2の学習をしたときの記録です。エンジンを切り替えて学習し直すと、ここで比較できます。
※このAIはとても小さいので、CPUが勝つこともあります。本物の生成AIは何億倍も大きい計算をするため、GPUの力が必要になります。