> udemyで学習する

【活性化関数】Swish関数とは?【超わかりやすく解説】

ニューラルネットワークで重要な活性化関数の1つである「Swish関数」を、非常にわかりやすく解説しています。理解のしやすいSwish関数をPythonで実装も行いながら一緒に学習しましょう!

Swish関数とは?

Swish関数のグラフ

Swish関数は、負の値は膨らんでから「0」へ収束、正の値は「x」を出力する関数です。
スウィッシュ関数と呼ばれます。

Swish関数はReLU関数を拡張した関数で、
ReLU関数よりも下限を滑らかにすることで柔軟な学習結果を期待します。
下に、ReLU関数、Swish関数、Mish関数を重ねたグラフを載せておきます。

すごくきれいな曲線ですね。

Swish関数の数式

Swish関数の数式は少し複雑ですね。
Swish関数は活性化関数の1つでもある、シグモイド関数σ(x)を利用します。
βはパラメータとして定義されることが多いです。

PythonでSwish関数を実装

実装

#Swish関数
import numpy as np

def swish(x):
    return x*1./(1. + np.exp(-x))

if __name__ == '__main__':
    print(swish(3)) # 任意の数字を入力
【実行結果】
2.8577223804672998

5行目の「np.exp(-x)」は、「e の -x乗」を表しています。
NumPyを利用すれば非常にシンプルに表すことができます。

【参考】Swish関数をプロットするコード

参考程度に、matplotlibを使ってSwish関数を描画するソースコードを掲載します。

#Swish関数
import matplotlib.pyplot as plt
import numpy as np

x = np.arange(-6, 6, 0.1)
y = x*1./(1. + np.exp(-x))

plt.grid()
plt.plot(x, y)
plt.show()

このコードを実行すると、下のグラフが実行結果として生成されます。

ということで本記事は、
ニューラルネットワークで非常に重要な、活性化関数の1つであるSwish関数を解説しました!
最後まで読んでいただき、ありがとうございました\(^o^)/

ディープラーニングのおすすめ書籍

専門書としては異例の発行部数を誇る、素晴らしい書籍です(^^)
初心者の方から知識のある方まで、幅広い方に向けて書かれていますよ!\(^o^)/

超オススメのPC用品

PCを操作する上で、トラックボールマウスが非常におすすめです!
僕も感動したこのマウスを、騙されたと思って使ってみてください!(^^)

外部モニターで2倍以上の効率化が見込めます!
安いものだと、たったの1万円前後なのでおすすめですよー!\(^o^)/

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です