DEEP LEARNING / LESSON 06

PyTorchで学習の準備

テンソル、勾配、更新。学習の流れを一度つなげてみよう。

TODAY'S GOAL

この回でつかむこと

予測→損失→勾配→更新の順番を追える。

ことばの窓

01 / SEE THE IDEA

PyTorchのtensorは、一つまたは複数の数値をまとめて扱うデータ形式です。requires_grad=Trueにすると、計算をたどって勾配を求められます。勾配は『どちらへ少し動かすと損失が変わるか』の手掛かりです。

あおい

値を入れただけなのに、どうやって上手になるの？

AI先生

予測と正解のずれから、どの値を直すとよいか計算するんだよ。

はる

勾配を使ってパラメータを更新するのですね。

図を読むと

学習は、同じデータを丸暗記する操作ではなく、ずれを小さくする反復。 PyTorchのtensorは、一つまたは複数の数値をまとめて扱うデータ形式です。requires_grad=Trueにすると、計算をたどって勾配を求められます。勾配は『どちらへ少し動かすと損失が変わるか』の手掛かりです。

小さなコードで確かめるまず結果を予想しよう

import torch
w = torch.tensor(1.0,requires_grad=True)
loss = (w*2-6)**2
loss.backward()
print(w.grad.item())

実行結果-16.0

なぜそうなる？ wを少し増やすと損失が下がる方向なので、勾配は負です。

02 / GO ONE STEP FURTHER

勾配が出たら、学習率を掛けて重みを直します。繰り返し学習では、前回の勾配を消してから次を計算します。

with torch.no_grad():
    w -= 0.1*w.grad
print(round(w.item(),2))
print(round((w*2-6).pow(2).item(),2))

実行結果w=2.6、損失0.64

ここに注目 最初の損失16から小さくなりました。学習率を大きくしすぎると逆に不安定になります。

03 / YOUR TURN

答えを選んで、説明を確かめよう。外れても発見が一つ増えるよ。

更新の前に必要なのは？

答えを選ぶと理由が表示されます。

04 / TRY ON COLAB

コードの実行はColaboratoryの実行環境で行います。まずノートブックを保存し、Colabで「ファイル → ノートブックをアップロード」から開いてください。上から順に実行し、最後に値を変えてみましょう。

保存ボタンを押しても画面は切り替わりません。通常はブラウザの「ダウンロード」フォルダに .ipynb が保存されます。見つからない場合はダウンロード履歴を確認してください。Colabの実習は小さな例から始められます。

COFFEE BREAK

AI先生：ROBORONの歩幅が大きすぎると、目標を通り越して行ったり来たり。学習率も似ているね。

KEY TERMS

本文で出会った言葉を、ここで意味と一緒に振り返ろう。上の「ことばの窓」からも説明を開けるよ。