パーセプトロンの学習

1. パーセプトロンとは？

パーセプトロンはシンプルなニューラルネットワークモデルの一つで、2つの入力を受け取り、1つの出力を生成するアルゴリズムです。重要なのは、このモデルが基本的な数学的な演算を通じて学習することです。

2. パーセプトロンの構成要素

パーセプトロンは2つの主要な要素で構成されます。それは、重み（weights）とバイアス（bias）です。重みは入力に対する重要度を示し、バイアスは出力を調整します。

3. パーセプトロンの学習プロセス

パーセプトロンの学習プロセスは、正しい出力を生成するために重みとバイアスを調整する過程です。これにより、パーセプトロンは問題を解決するために最適な重みとバイアスを見つけます。

4. numpyを使ったパーセプトロンの実装

Pythonのnumpyライブラリを使用して、パーセプトロンの学習を実装しました。numpyは数値演算に適しており、パーセプトロンの基本的な動作を理解するのに役立ちます。



import numpy as np
# AND論理ゲートのトレーニングデータ
# 入力値 x1, x2 と正解ラベル y
training_data = np.array([
[0, 0, 0],
[0, 1, 0],
[1, 0, 0],
[1, 1, 1]
])
# パーセプトロンの重みとバイアスを初期化
# 2つの入力に対する重みとバイアスを持つ
weights = np.array([0.0, 0.0])
bias = 0.0
learning_rate = 0.1
# 学習プロセス
epochs = 1000
for _ in range(epochs):
for x1, x2, target in training_data:
# パーセプトロンの出力を計算
weighted_sum = np.dot(np.array([x1, x2]), weights) + bias
output = 1 if weighted_sum >= 0 else 0


# 誤差を計算
error = target - output


# 重みとバイアスの更新
weights += learning_rate * error * np.array([x1, x2])
bias += learning_rate * error
# パーセプトロンの学習結果をテスト
test_data = np.array([
[0, 0],
[0, 1],
[1, 0],
[1, 1]
])
print("Testing the Perceptron:")
for x1, x2 in test_data:
weighted_sum = np.dot(np.array([x1, x2]), weights) + bias
output = 1 if weighted_sum >= 0 else 0
print(f"Input: ({x1}, {x2}), Output: {output}")

5. パーセプトロンの出力計算

パーセプトロンの出力は、入力と重みのドット積にバイアスを加えることで計算されます。この計算により、入力がどのように重みづけされ、出力が生成されるかを理解しました。

6. パーセプトロンの学習データとテスト

パーセプトロンの学習データを用意し、学習結果をテストしました。学習データを用いて、パーセプトロンが正しい出力を生成することを確認しました。

7. 排他的論理和（XOR）の学習

パーセプトロンを使用して排他的論理和（XOR）を学習しました。XORは非線形な問題であり、単一のパーセプトロンでは学習が難しいことがわかりました。

8. ニューラルネットワークへの発展

XORを学習できなかったため、より強力なモデルであるニューラルネットワークに進化しました。ニューラルネットワークは、複数の層と非線形性を持つことで、複雑な問題を解決できる可能性が高まります。

9. ニューラルネットワークの構築

PyTorchを使用して、2層のニューラルネットワークを構築しました。このモデルは、XORゲートを学習するために訓練されました。

import torch
import torch.nn as nn
import torch.optim as optim

# トレーニングデータ
X = torch.tensor([[0, 0], [0, 1], [1, 0], [1, 1]], dtype=torch.float32)
y = torch.tensor([0, 1, 1, 0], dtype=torch.float32).view(-1, 1)

# ニューラルネットワークの定義
class XORModel(nn.Module):
    def __init__(self):
        super(XORModel, self).__init__()
        self.fc1 = nn.Linear(2, 4)  # 入力層から隠れ層
        self.fc2 = nn.Linear(4, 4)  # 隠れ層から隠れ層
        self.fc3 = nn.Linear(4, 1)  # 隠れ層から出力層

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = torch.relu(self.fc2(x))
        x = torch.sigmoid(self.fc3(x))
        return x

model = XORModel()

# 損失関数とオプティマイザの定義
criterion = nn.BCELoss()  # 二値交差エントロピー誤差
optimizer = optim.SGD(model.parameters(), lr=0.1)

# トレーニング
epochs = 100000
for epoch in range(epochs):
    optimizer.zero_grad()
    outputs = model(X)
    loss = criterion(outputs, y)
    loss.backward()
    optimizer.step()

    if epoch % 1000 == 0:  # 100エポックごとにログを表示
        print(f"Epoch [{epoch}/{epochs}], Loss: {loss.item():.4f}")

# 予測
predictions = (model(X) > 0.5).float()

10. ニューラルネットワークの学習

ニューラルネットワークを訓練し、XORゲートの学習を試みました。訓練プロセスでは、重みとバイアスが自動的に調整され、適切な出力を生成するようになりました。

11. 学習結果の評価

最終的に、ニューラルネットワークの学習結果を評価し、XORゲートを高精度で再現できることを確認しました。

ゼロから始めるdeep learning 2 パーセプトロン