refirio.org

以下の書籍の勉強メモ 最小二乗法を使って一次関数の式を求める やさしく学ぶ 機械学習を理解するための数学のきほん アヤノ＆ミオと一緒に学ぶ 機械学習の理論と数学、実装まで https://www.amazon.co.jp/gp/product/B075GSMZDS この書籍のもとになったページが以下にある やる夫で学ぶ機械学習シリーズ - けんごのお屋敷 http://tkengo.github.io/blog/2016/06/06/yaruo-machine-learning0/ ■回帰の実践 click.csv 以下でグラフに配置して確認できる 以下で一次関数の学習データをプロットできる 実行の際、以下のようなログが出力される 「theta0 = 429.000」「theta1 = 93.446」と求められている これは予測関数「theta0 + theta1 * x」にある「theta0」と「theta1」の値を求めている つまり、予測関数は「429.000 + 93.446 * x」ということ プログラムの最後に以下を追加すると 実行時に以下も表示される つまり、個別に予測を表示できる 以下は詳細解説付きのコード（解説の都合上、一部プログラムも変更している） 以下メモ …だが、まだまだ理解を超えているので要勉強 予測データを関数として表すことができれば、与えられたデータをもとに予測を立てることができる シンプルな例として、今回の学習データは一次関数であると推測して実装する 一次関数の学習データは以下のように表すことができる \[y = ax + b \] この式を以下のように表すものとする \[f_{\theta}(x) = \theta_{0} + \theta_{1}x \] これが予測関数の元になっており、このシータ1とシータ2の値を求めることができれば正しい予測ができることになる そしてこれらの式において、 \[y = f_{\theta}(x) \] と一致するときが誤差のない状態となる これを変形すると \[y - f_{\theta}(x) = 0 \] と表すことができる 学習データが「n」個あるとして、学習データごとの誤差の和は以下のように表すことができる（この誤差の和が小さければ小さいほど正確な予測と言える） 左辺の E は、誤差を英語で表したときの「Error」の頭文字から取ったもの これが目的関数の元になっている なお、全体を2で割っているのは微分の計算を簡単にするため、2乗しているのは誤差が負の値になっても正確に算出するため \[E(\theta) = \frac{1}{2} \sum_{i=1}^{n} (y^{(i)} - f_{\theta}(x^{(i)}))^{2} \] このようなアプローチを最小二乗法と呼ぶ 標準化（学習データの平均を0、分散を1とする）は以下で行う 必須の処理ではないが、行っておくとパラメータの収束が早くなる 標準化については、このファイル内にある「数学の復習」の「標準偏差」も参照 \[z^{(i)} = \frac{x^{i} - \mu}{\sigma} \] 目的関数で E を小さくしていけば誤差が小さくなる ただし、適当に値を代入して求めるのは大変。このようなときは微分を使って求めていく この目的関数は \[f_{\theta}(x^{(i)}) \] を含んでいて、この値はシータ0とシータ1の2つのパラメーターを持っている つまりこの目的関数は、シータ0とシータ1の2つの変数を持つ2次関数になる よって普通の微分ではなく偏微分となり、更新式は以下のようになる \[\theta_{0} := \theta_{0} - \eta \frac{\partial E}{\partial \theta_{0}} \] \[\theta_{1} := \theta_{1} - \eta \frac{\partial E}{\partial \theta_{1}} \] これは最急降下法や勾配降下法と呼ばれるもの 分数の前に付いている記号は「イータ」で、学習率と呼ばれる正の定数 学習率の大小によって、最小値にたどり着くまでの更新回数が変わってくる 偏微分の計算を行うが、正攻法の微分は大変。よって合成関数の微分を使う。今回は以下のように定義する \[u = E(\theta) \] \[\nu = f_{\theta}(x) \] すると、以下のように段階的に微分できる \[\frac{\partial u}{\partial \theta_{0}} = \frac{\partial u}{\partial \nu} \cdot \frac{\partial \nu}{\partial \theta_{0}} \] これを計算すると、1つ目の値は \[\frac{\partial u}{\partial \nu} = \frac{\partial}{\partial \nu}(\frac{1}{2} \sum_{i=1}^{n} (y^{(i)} - \nu)^{2}) \] \[\frac{\partial u}{\partial \nu} = \frac{1}{2} \sum_{i=1}^{n} (\frac{\partial}{\partial \nu}(y^{(i)} - \nu)^{2}) \] \[\frac{\partial u}{\partial \nu} = \frac{1}{2} \sum_{i=1}^{n} (\frac{\partial}{\partial \nu}(y^{(i)2} - 2y^{(i)}\nu + \nu^{2})) \] \[\frac{\partial u}{\partial \nu} = \frac{1}{2} \sum_{i=1}^{n} (-2y^{(i)} + 2\nu) \] \[\frac{\partial u}{\partial \nu} = \sum_{i=1}^{n} (\nu - y^{(i)}) \] となる なお、3行目から4行目への変換時にカッコ内で行われている計算は ・「y^{(i)2}」はvで微分すると「0」になる ・「-2y^{(i)}v」はvで微分すると「-2y^(i)」になる ・「v^2」はvで微分すると「2v」になる ・それぞれを合わせて、「-2y^(i) + 2v」になる となる また2つ目の値は \[\frac{\partial \nu}{\partial \theta_{0}} = \frac{\partial}{\partial \theta_{0}}(\theta_{0} + \theta_{1}x) \] \[\frac{\partial \nu}{\partial \theta_{0}} = 1 \] になる これをかけ合わせると \[\frac{\partial u}{\partial \theta_{0}} = \frac{\partial u}{\partial \nu} \cdot \frac{\partial \nu}{\partial \theta_{0}} \] \[\frac{\partial u}{\partial \theta_{0}} = \sum_{i=1}^{n} (\nu - y^{(i)}) \cdot 1 \] \[\frac{\partial u}{\partial \theta_{0}} = \sum_{i=1}^{n} (f_{\theta}(x^{(i)}) - y^{(i)}) \] 引き続きシータ1についても微分してみる \[\frac{\partial u}{\partial \theta_{1}} = \frac{\partial u}{\partial \nu} \cdot \frac{\partial \nu}{\partial \theta_{1}} \] \[\frac{\partial u}{\partial \theta_{1}} = \frac{\partial \nu}{\partial \theta_{1}}(\theta_{0} + \theta_{1}x) \] \[\frac{\partial u}{\partial \theta_{1}} = x \] 微分する \[\frac{\partial u}{\partial \theta_{1}} = \frac{\partial u}{\partial \nu} \cdot \frac{\partial \nu}{\partial \theta_{1}} \] \[\frac{\partial u}{\partial \theta_{1}} = \sum_{i=1}^{n} (\nu - y^{(i)}) \cdot x^{(i)} \] \[\frac{\partial u}{\partial \theta_{1}} = \sum_{i=1}^{n} (f_{\theta}(x^{(i)}) - y^{(i)}) x^{(i)} \] 最終的に以下2つのパラメータの更新式を得ることができる これが更新式の元になっている \[\theta_{0} := \theta_{0} - \mu \sum_{i=1}^{n} (f_{\theta}(x^{(i)}) - y^{(i)}) \] \[\theta_{1} := \theta_{1} - \mu \sum_{i=1}^{n} (f_{\theta}(x^{(i)}) - y^{(i)})x^{(i)} \] 試行回数は一概には言えないが、今回は 10^-3 にしておく これらの内容をもとにプログラムを作成したものが先の内容となる 結果として \[\theta_{0} = 429.000 \] \[\theta_{1} = 93.446 \] という値を求められているが、つまりは求めたい1次関数は \[f_{\theta}(x) = \theta_{0} + \theta_{1}x \] \[f_{\theta}(x) = 429.000 + 93.446x \] \[y = 93.446x + 429.000 \] となる。具体的には xが100のときyは、93.446 * 100 + 429 = 9773.6 xが200のときyは、93.446 * 200 + 429 = 19118.2 xが300のときyは、93.446 * 300 + 429 = 28462.8 …だとおかしな値だが、もとのプログラムと同じく標準化の処理を加えると以下のようになる xが100のときyは370.9671010284257 xが200のときyは510.46967317686426 xが300のときyは649.9722453253028 ■回帰の実践（勉強中） 内容を単純化するため、学習データを「y = ax + b」ではなく「y = ax」にしてみる かなり下の方にグラフが表示されるが、傾きは意図したものになっている 標準化された内容において原点 (0, 0) を通る必要があるので、傾きだけで合わせるならこのようなグラフになる …ということのはず ■多項式回帰（重回帰）の実践 ※まだ検証中。大きな勘違いがある可能性がある 以下で多項式回帰（重回帰）を検証中 実行の際、以下のようなログが出力される thetaは「405.72786608」「95.1032932」「23.28718624」と求められている これは列ベクトルだが、求めたい関数は以下のように表すことができ、 \[{\theta}^{T}x = \theta_{0}x_{0} + \theta_{1}x_{1} + \theta_{2}x_{2} + … + \theta_{n}x_{n} \] 以下の等式が成立し、 \[f_{\theta}(x) = {\theta}^{T}x \] 結果的に予測関数は「405.72537805 + 95.10346544 * x + 23.28861321 * x^2」ということになる （現状かなり端折った内容になっているので、詳細は書籍を参照） プログラムの最後に以下を追加すると 実行時に以下も表示される つまり、個別に予測を表示できる 以下、メモ付きで検証中 学習データは標準化と行列変換を経て X に格納される X の内容は以下のとおりで、これは以降変化しない [[ 1. 1.39433428 1.94416809] [ 1. 1.11069026 1.23363286] [ 1. 0.09554325 0.00912851] [ 1. -1.59139223 2.53252924] [ 1. -0.8449606 0.71395842] [ 1. 0.93154667 0.8677792 ] [ 1. -1.38239138 1.91100592] [ 1. -1.74067856 3.02996185] [ 1. 0.46875906 0.21973506] [ 1. 0.73747445 0.54386856] [ 1. -0.11345761 0.01287263] [ 1. -0.63595975 0.4044448 ] [ 1. -0.36724436 0.13486842] [ 1. -0.44188752 0.19526458] [ 1. 0.3045441 0.09274711] [ 1. 1.94669369 3.78961632] [ 1. 0.25975821 0.06747433] [ 1. 0.25975821 0.06747433] [ 1. -1.23310505 1.52054807] [ 1. 0.84197488 0.70892169]] 更新用パラメータはランダムに決定されて theta に格納される theta の内容は一例として以下のような値で、これはループによって最適化（更新）されていく [0.52525576, 0.26226403, 0.01139251] 10回最適化を行った段階では、以下のような値になる [72.43856197 17.76450257 68.07431847] 100回最適化を行った段階では、以下のような値になる [281.75465761 87.39699393 92.87228457] 最適化完了後（795回ループし、誤差が 0.01 以下になったとき）、以下のような値になる [405.72537805 95.10346544 23.28861321] これにより、求められた2次関数の式は y = 405.72537805 + 95.10346544 * x + 23.28861321 * x^2 となる xが100, 200, 300 のときの値は、「回帰の実践」のときと同様 100 = (100 - 141.6) / 66.98537153737374 = -0.62103111538 200 = (200 - 141.6) / 66.98537153737374 = 0.87183214274 300 = (300 - 141.6) / 66.98537153737374 = 2.36469540087 となるので、予測は以下のようになる y = 405.72537805 + 95.10346544 * (-0.62103111538) + 23.28861321 * (-0.62103111538 * -0.62103111538) = 355.645110936 y = 405.72537805 + 95.10346544 * (0.87183214274) + 23.28861321 * (0.87183214274 * 0.87183214274) = 506.34110805 y = 405.72537805 + 95.10346544 * (2.36469540087) + 23.28861321 * (2.36469540087 * 2.36469540087) = 760.841008005 よって x=100ならy=355 x=200ならy=506 x=300ならy=760 となる np.dotによる計算は、このファイル内の「Python > 行列の計算」にある「Aが2次元配列でBが1次元配列の場合」を参照 今回は、以下のような計算がされることになる result の内容は以下のとおり 先頭の 0.91308844 という値は、「theta」と「Xの1つめの要素」を使って以下のように求められている = (1 * 0.52525576) + (1.39433428 * 0.26226403) + (1.94416809 * 0.01139251) 次の 0.83060404 という値は、「theta」と「Xの2つめの要素」を使って以下のように求められている = (1 * 0.52525576) + (1.11069026 * 0.26226403) + (1.23363286 * 0.01139251) これを最後まで繰り返し、1次元配列の値を作っている ■メモ 以下なども参考になりそう 機械学習のパラメータチューニングを「これでもか！」というくらい丁寧に解説 - Qiita https://qiita.com/c60evaporator/items/ca7eb70e1508d2ba5359