refirio.org

■入門 以下が詳細で解りやすい Python入門 - ＠IT https://www.atmarkit.co.jp/ait/series/12963/ Pythonプログラミング入門 - Pythonプログラミング入門 documentation https://utokyo-ipp.github.io/ ■環境構築 主にVSCodeではじめるPython開発環境構築ガイド | DevelopersIO https://dev.classmethod.jp/articles/python-vscode-plugin/ ■応用 Pythonのアンダースコア( _ )を使いこなそう！ - LSC PSD - Medium https://medium.com/lsc-psd/pythonic%E8%89%B2%E3%80%85-python%E3%81%AE%E3%82%A2%E3%83%B3%E3%83%80%E3%... AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ - Qiita https://qiita.com/sugulu/items/c0e8a5e6b177bfe05e99 【Python】いい書き方と悪い書き方を知って中級者を目指す - Qiita https://qiita.com/_masa_u/items/b21c493a82e8aba8993f Pythonのオブジェクト指向プログラミングを完全理解 - Qiita https://qiita.com/kaitolucifer/items/926ed9bc08426ad8e835 【2020年新人研修資料】ナウでヤングなPython開発入門 - Speaker Deck https://speakerdeck.com/stakaya/2020nian-xin-ren-yan-xiu-zi-liao-nauteyankunapythonkai-fa-ru-men 朝飯前に学べる！便利なPythonのヒント100選【前編】 - Qiita https://qiita.com/baby-degu/items/05cf809d4d992923020d 朝飯前に学べる！便利なPythonのヒント100選【後編】 - Qiita https://qiita.com/baby-degu/items/532bea7be058c35f61a8 全てがTypeScriptで動く「クラウド郵便 atena」を支える技術スタック https://zenn.dev/n1nc/articles/atena-system-architecture データ分析の基礎 - Qiita https://qiita.com/wooooo/items/24d1a4d6be5ab7bf023f Pythonのパッケージ管理の中級者の壁を超える stapy#98 - Speaker Deck https://speakerdeck.com/vaaaaanquish/pythonnopatukeziguan-li-nozhong-ji-zhe-nobi-wochao-eru-stapy-nu... 並列処理がとても苦手なPythonはプロセスを分けよう　コードを書く時に意識したい2つのTipsと2つの落とし穴 - ログミーTech https://logmi.jp/tech/articles/329470 【AtCoder】Pythonで競プロをするときの注意点まとめ【競技プログラミング】 #Python - Qiita https://qiita.com/kemuniku/items/1f1537e1df2ac8180d9b ■数値を文字列と結合して表示 ■科学的表記法を使って数値を表現 Pythonコード内に「1e-3」のような表記が現れることがある これは科学的表記法を使って数値を表現したもの 「1e-3」は「1 * 10^-3」と同じで、その結果は 0.001 となる この表記法は、非常に大きな数値や非常に小さな数値を簡潔に表現するために使用される ■配列の計算 以下は計算できず、「TypeError: can only concatenate list (not "int") to list」のエラーになる 以下のようにmapを使うと、それぞれの計算結果「[2 3 4]」を得られる 以下のようにnumpyを使っても、それぞれの計算結果「[2 3 4]」を得られる また以下のようにすると、計算結果「[5 7 9]」を得られる Pythonのmap()でリストの要素に関数・処理を適用 | note.nkmk.me https://note.nkmk.me/python-map-usage/ PythonのNumPy配列の数値演算のやり方まとめ | HEADBOOST https://www.headboost.jp/python-numpy-array-calculations/ ■配列の内容をすべて表示 ■配列の要素数を表示 ■行列の計算 np.dot() によって行列の計算ができるが、与える配列の次元によって挙動が変わる 以下のとおりAとBが1次元配列の場合、以下のように計算される これは内積を求めている AとBが2次元配列の場合、以下のように計算される これは行列積を求めている AとBのどちらかがスカラの場合、以下のように計算される これは積を求めている Aが2次元配列でBが1次元配列の場合、以下のように計算される numpy.dot の挙動 #Python - Qiita https://qiita.com/ao_log/items/64768b67153e8fb6820b ■map 【Pythonステップアップ！】高階関数mapの便利な使い方 | 侍エンジニア塾ブログ（Samurai Blog） - プログラミング入門者向けサイト https://www.sejuku.net/blog/24759 ■lambda Pythonのlambdaって分かりやすい - Qiita https://qiita.com/nagataaaas/items/531b1fc5ce42a791c7df ■画像 PythonでPowerPointの各ページを画像ファイルにする - Qiita https://qiita.com/natsutan/items/2487e24fe3f31569b40d ■クロスプラットフォームアプリ Pythonだけでクロスプラットフォームなアプリを作れるFletについて - Qiita https://qiita.com/NasuPanda/items/48849d7f925784d6b6a0 ■ゲーム 「ゲーム制作するなら、これだけは覚えておいたほうがいい」　プログラミングする上で重要な「対数」の考え方 - ログミーTech https://logmi.jp/tech/articles/326705 Pythonなら3Dゲームも作れる！まずは空間にモノを置いてみよう | 日経クロステック（xTECH） https://xtech.nikkei.com/atcl/nxt/column/18/02075/052400001/ ■数学 数学×Pythonプログラミング入門 - ＠IT https://atmarkit.itmedia.co.jp/ait/series/24243/ 統計・機械学習の理論を学ぶ手順 - Qiita https://qiita.com/kueda_cs/items/28008db6491c71ac5659 数学を楽しみながら独学できる本、究極の5冊 | 独学大全 | ダイヤモンド・オンライン https://diamond.jp/articles/-/301387 ■機械学習 Pythonでニューラルネットワークを書いてみよう：ニューラルネットワーク入門 - ＠IT https://atmarkit.itmedia.co.jp/ait/articles/2202/09/news027.html みんな、とにかくオセロAIを作るんだ - Qiita https://qiita.com/Nyanyan_Cube/items/1839732d7bdf74caff21 機械学習が独学できる日本語Youtube難易度別まとめ - Qiita https://qiita.com/fujimr_19xx/items/f85d08a260ef7e0df655 モナリザがトランプ大統領のように動き出すFirst Order Motion Modelを試してみる - Qiita https://qiita.com/jun40vn/items/722bd4675246eb7eac46 第1回　初めてのニューラルネットワーク実装、まずは準備をしよう ― 仕組み理解×初実装（前編）：TensorFlow 2＋Keras（tf.keras）入門 - ＠IT https://atmarkit.itmedia.co.jp/ait/articles/1909/19/news026.html Pythonで作る人工生命 | 日経クロステック（xTECH） https://xtech.nikkei.com/atcl/nxt/column/18/01996/ 【5分で解説】AI進化のきっかけになったTransformerとは！？Attention層とは？｜スタビジ https://toukei-lab.com/transformer ■XAMPPでPythonを動作させるメモ Pythonディストリビューション使い分けのポイントを考えてみよう（Windows編）：Python環境構築入門（1/3 ページ） - ＠IT https://atmarkit.itmedia.co.jp/ait/articles/2203/23/news027.html Windows環境へのPythonインストールは、上記のように複数の方法がある 後々のことを考えれば、Anacondaでインストールしておくのが無難か Python | Pythonのダウンロードとインストール https://www.javadrive.jp/python/install/index1.html 今回はAnacondaを使ってインストールした Anacondaのインストール | Python入門 https://www.javadrive.jp/python/install/index5.html Anaconda で Python 環境をインストールする - Qiita https://qiita.com/t2y/items/2a3eb58103e85d8064b6 【Python】非エンジニアWindowユーザー向けのAnacondaインストールの手順 https://tonari-it.com/python-anaconda-install/ ■コマンプロンプトで動作確認 コマンドプロンプトから、以下を実行してインストールを確認 以下のようにして直接命令を実行できる hello.py を作成して以下の内容を記述 以下のようにしてプログラムを実行 ■コマンプロンプトで動作確認（補足） 上で紹介したとおり、コマンドプロンプトから以下を実行してインストールを確認できる Windowsの検索で「Anaconda Prompt」を検索して実行すると、パスの指定なしでも実行できる ■CGIで動作確認 あらかじめ、XAMPPをインストールしておく C:\xampp\apache\conf\httpd.conf を編集し、Apacheを再起動する test.py を作成して以下の内容を記述 以下のようにしてプログラムを実行 http://localhost/test/test.py ■文字化け対策 Python 3.x - Pythonにて文字化けが発生します｜teratail https://teratail.com/questions/130659 PythonのCGIで日本語が文字化けしたときの対処法 - Qiita https://qiita.com/eleven-junichi2/items/f3fcb6abe7fe21a4d89a ■pip（Pythonのパッケージ管理システム） pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator https://vaaaaaanquish.hatenablog.com/entry/2021/03/29/221715 Python - Pythonの「pip」と「pip3」は何が違う？｜teratail https://teratail.com/questions/46066 PythonでOpenCVをはじめる（Windows10、Anaconda 2018.12、Python3.7.1、OpenCV4.0.0） - Qiita https://qiita.com/SatoshiGachiFujimoto/items/94da93f88578b87f6a89 Windowsの検索機能などから「Anaconda Prompt」を開く 以下のようにして、Pythonとpipのバージョンを確認できる pipでライブラリをインストールした場合、以下のようにすればPythonプログラムの簡易な動作確認が ■Excelを操作 ※未検証 ゼロからはじめるPython(65) PythonでExcelを操作する二大手法を比較しよう | マイナビニュース https://news.mynavi.jp/article/zeropython-65/ PythonによるExcel自動化は何がスゴい？インストールからコードサンプルまで実践詳解 ｜ビジネス+IT https://www.sbbit.jp/article/cont1/46162 ■OpenCV PythonでOpenCVをはじめる（Windows10、Anaconda 2018.12、Python3.7.1、OpenCV4.0.0） - Qiita https://qiita.com/SatoshiGachiFujimoto/items/94da93f88578b87f6a89 Pythonを用いた画像処理(openCV,skimage) - Qiita https://qiita.com/taka_baya/items/453e429b466ffaa702c9 インストールできたが、CGIからサンプルプログラムを実行するとエラーになった エラーの内容は以下のとおり エラーメッセージによると、numpy.core.multiarray を使えないらしい 以下を参考に numpy をアップデートすると大丈夫だった 【Pythonエラー対策】ImportError: numpy.core.multiarray failed to import | 西住工房 https://algorithm.joho.info/programming/python/numpy-core-multiarray-failed-to-import/ なお、プログラム実行ディレクトリに、numpy.py を自身で作成していると、そちらが読み込まれる 結果的に正しいファイルを読み込めずにエラーになるので注意 ■OpenCV（バージョン3をインストール） 上記「OpenCV」の手順でインストールすると、4.1.1 がインストールされた 今回は本番環境に合わせて 3.4.3 にバージョンダウンするものとする 【Jupyter Notebook】OpenCVのインポートエラー解決メモ - Qiita https://qiita.com/yut-nagase/items/27b0a17e9e3074a95c6c 以下のようにしてアンインストール＆インストールできた なお、以下のバージョン指定だと「バージョンの指定が不十分」となる エラーメッセージをもとに、マイナーバージョンを指定する ■Jupyter Notebook ※未検証 【初心者向け】Jupyter Notebookの使い方！インスト…｜Udemy メディア https://udemy.benesse.co.jp/development/python-work/jupyter-notebook.html ブラウザ上でプログラムを実行できるようになるらしい Googleの「Colaboratory」やAWSの「SageMaker Studio Lab」を使えば、同じような環境が提供される ■その他メモ 2020年5月におけるPython開発環境の選択肢 - Qiita https://qiita.com/nicco_mirai/items/80ba4b4bf9db11ac54c6 2020 年の Python パッケージ管理ベストプラクティス - Qiita https://qiita.com/sk217/items/43c994640f4843a18dbe 基本的に、Pythonは初めからインストールされている ■Raspberry Pi Raspberry Pi 上で開発するために諸々のツールを追加インストールした際のメモは RaspberryPi.txt を参照 ■CentOS CentOS7の場合、初めからPython2がインストールされている ただしPython3を使用したい場合、別途インストールする必要がある ■CentOS7.7以降の場合 以下でインストールできる CentOS7.7でPython3.6をインストールしてみよう - DENET 技術ブログ https://blog.denet.co.jp/centos77python36/ ■CentOS7.7より以前の場合 以下でインストールできる ※https://centos7.iuscommunity.org/ius-release.rpm は使えなくなっているので https://repo.ius.io/ius-release-el7.rpm を指定する Python 3 を CentOS 7 に yum でインストールする手順 | https://weblabo.oscasierra.net/python3-centos7-yum-install/ iusの最新リンクが変更になったので注意 - Qiita https://qiita.com/seal_qiita/items/981a9284ecd44e54af96 ■CentOS7でPython3.7を使う場合 現状Python3.7は提供されておらず、どうしても使いたければソースコードからインストールする必要があるみたい Python3.7とDjango3.0をインストールする（CentOS） - Qiita https://qiita.com/shiranon/items/889b9d32bea0df4b89dc ■その他メモ 【Python入門】subprocessを使ってコマンドを実行しよう！ | 侍エンジニア塾ブログ（Samurai Blog） https://www.sejuku.net/blog/51090 subprocessの使い方(Python3.6) - Qiita https://qiita.com/caprest/items/0245a16825789b0263ad プログラミング言語Pythonおよびその科学計算用ライブラリである「NumPy」のためのグラフ描画ライブラリ matplotlibのめっちゃまとめ - Qiita https://qiita.com/nkay/items/d1eb91e33b9d6469ef51 以下はグラフを画像に出力する例 以下のようにして実行すると、outputフォルダ内にグラフの画像が出力される CLIでプログラムを実行すると画面に画像を表示できずにエラーとなる 「matplotlib.use('Agg')」と指定することで、画面ではなく画像に保存できるようになる なお「Agg」は「Anti-Grain Geometry engine」のことで、データを画像に描画するライブラリ 「plt.figure(figsize=(4, 4), dpi=72)」 は 「横4インチ×縦4インチ、解像度72」 の意味 これらを変更することで、画像の縦横比率や解像度が変わる matplotlibで作成したプロットを画像ファイルに保存する方法 - Qiita https://qiita.com/koichifukushima/items/e63e642431db92178188 matplotlib.use('Agg')するときの注意点 - みんなのふぃじー（はてなブログ版） http://fijixfiji.hatenablog.com/entry/2016/12/17/001226 Matplotlib - Linux のCLIでmatplotlibを動かしたい｜teratail https://teratail.com/questions/166605 matplotlibで出力される画像のサイズを変更する https://www.solima.net/python/archives/179 ※Pythonとは直接関係しないが、数式を表現するためにMathJaxを使用する MathJax | Beautiful math in all browsers. https://www.mathjax.org/ mathjax.pdf http://www.eng.niigata-u.ac.jp/~nomoto/download/mathjax.pdf MathJax＜Javascript＜木暮 http://www.kogures.com/hitoshi/javascript/mathjax/index.html Github Pages で数式を 〜 MathJax v3 設定のポイント - Qiita https://qiita.com/memakura/items/e4d2de379f98ad7be498 お勧めのMathJax設定方法（構成や日本語表示など） - いっしきまさひこBLOG https://blog.masahiko.info/entry/2020/03/09/203814 以下は数式の例 \[x = -\frac{b}{a} \] \[x = \frac{-b\pm\sqrt{b^{2}-4ac}}{2a} \] \[\sum_{k=1}^{n} a_{k} = a_{1} + a_{2} + \dots + a_{n} \] \[\int_{-\infty}^{\infty} e^{-x^{2}} \, dx = \sqrt{\pi} \] \[f'(x) = \lim_{\varDelta x \to 0} \frac{ f(x+\varDelta x) - f(x) }{\varDelta x} \] \[\left\{ \begin{array}{l} x+y&=8\\ 2x+4y&=26 \end{array} \right. \] \[\begin{pmatrix} 1 & 2 \\ 11 & 12 \end{pmatrix} \] \[\frac{df}{dx} = \lim_{\Delta x \to 0} \frac{f(x+ \Delta x)-f(x)}{\Delta x} \] 以下の書籍の勉強メモ やさしく学ぶ 機械学習を理解するための数学のきほん アヤノ＆ミオと一緒に学ぶ 機械学習の理論と数学、実装まで https://www.amazon.co.jp/gp/product/B075GSMZDS 以下も参考になりそうなのでメモ 150 分で学ぶ高校数学の基礎 - Speaker Deck https://speakerdeck.com/e869120/150-fen-dexue-bugao-xiao-shu-xue-noji-chu 予備校のノリで学ぶ「大学の数学・物理」 - YouTube https://www.youtube.com/@yobinori ■総和 以下のような、1から100までの足し算があるとする \[1 + 2 + 3 + 4 + … + 99 + 100 \] 総和の記号を使うと、以下のように表現できる \[\sum_{i=1}^{100} i \] 何個足せばいいのかわからない場合、「n」を使って以下のように表現できる \[\sum_{i=1}^{n} i \] 同様に、以下のような式があるとする （式中の「(1)」や「(2)」は「1乗」「2乗」ではなく、「1番目」「2番目」の意味） \[E(\theta) = \frac{1}{2}((y^{(1)} - f_{\theta}(x^{(1)}))^{2} + (y^{(2)} - f_{\theta}(x^{(2)}))^{2} + … + (y^{(n)} - f_{\theta}(x^{(n)}))^{2}) \] これは以下のように表現できる \[E(\theta) = \frac{1}{2} \sum_{i=1}^{n} (y^{(i)} - f_{\theta}(x^{(i)}))^{2} \] ■関数 関数とは、数と数の間の関係を表すもの。値の変換装置 例えば「ある数を入力すると、2倍して1足した数が出力される」という変換装置があるとする \[出力 = 2(入力)+1 \] この場合、関数として記述すると以下のようになる \[f(x) = 2x + 1 \] 実際に値を当てはめて計算すると、以下のようになる \[f(1) = 2 \cdot 1 + 1 = 3 \] \[f(2) = 2 \cdot 2 + 1 = 5 \] \[f(-2) = 2 \cdot -2 + 1 = -3 \] \[f(0) = 2 \cdot 0 + 1 = 1 \] また関数の入力値と出力値をグラフ化することで「入力と出力の関係」を表すことができ、結果として直線や曲線が現れる ■微分 微分とは、小さな変化を見ること 関数のある点における傾きを調べたり、瞬間の変化を捉えることができるものとされる xが少し変化したとき、その変化量をΔxで表す Δは「デルタ」と読み、「微小な変化」の意味で使われる記号 ※ギリシャ語で差分は「διαφορa（diafora）」といい、この頭文字の大文字に由来している（実際は最後の「a」の上にコンマがある） 　英語で言う「difference」のこと xの微細な変化を「x が x+Δx に変化した」と表し、横軸をx、縦軸をf(x)とすると、微細な変化量は以下のようになる \[\frac{ f(x + \Delta x) - f(x) }{\Delta x} \] これを平均変化度と言って Δf/Δx と表し、「f(x)をxで微分する」という意味になる 曲線の微細な変化を考える場合、平均変化度は曲線の接線となる。この接戦の傾きが微細な変化と言える Δ の代わりに d を使って df/fx と書くこともある（Δ は今のアルファベットで言えば D にあたるため） また df(x)/dx と書くこともあり、 さらに省略してf'(x)と書くこともある つまり、以下はどれも意味は同じ \[\frac{\Delta f}{\Delta x} \] \[\frac{df}{dx} \] \[\frac{df(x)}{dx} \] \[f'(x) \] x^2（xの2乗）を微分すると2xとなる（具体的な計算は、後述の「微分の計算」を参照） これは特定の点の傾きが分かる状態のもの（「xが1のときの傾きは2、xが2のときの傾きは4」という意味であり、「y = 2x」のような方程式を表しているわけでは無い） 具体的には ・「x = 0」のときの傾きは「2 * 0」なので「0」となる。これは「xが1増えてもyは増減しない」ので平面の状態 ・「x = -1」のときの傾きは「2 * -1」なので「-2」となる。これは「xが1増えたときyが2減る」ので右上がりの状態 ・「x = 1」のときの傾きは「2 * 1」なので「2」となる。これは「xが1増えたときyが2増える」ので右下がりの状態 この内容を前提として、もう少し具体的な内容で記載する 例えば「40秒で120m走行した車の速度」を求める場合、通常以下のように求める \[\frac{120m}{40s} = 3m/s \] ただしこれは平均速度であって、常に秒速3mの速度が出ていたわけではない ある時点における瞬間の速度は、それぞれで異なる値を取る 瞬間の変化量を求めるために、関数を「f(x)」、微小な数を「h」と置くとする ※一般的に、微分の数式では微細な数を「h」で表される 「h」が使われるようになった理由は「無難な文字が選ばれた」など色々な説があるが、よく分かっていないらしい https://bonyari-dtp.hatenablog.com/entry/2021/03/08/200000 このとき、関数「f(x)」の点「x」での傾きは以下のような式で表すことができる（左辺は「f(x)の微分」の意味を表す） \[\frac{d}{dx}f(x) = \lim_{h \to 0} \frac{ f(x + h) - f(x) }{h} \] 文字になると難しく感じるが、具体的な数字を代入してみるとイメージが付きやすい 例えば「10.0秒と10.1秒という0.1秒の間に、40.0mから40.6mに移動した」の場合、「x = 10」「h = 0.1」なので、 \[\frac{ f(10 + 0.1) - f(10) }{0.1} = \frac{ 40.6 - 40}{ 0.1 } = 6 \] となり、「傾き6」が速度となる なお「h = 0.1」はあくまでも例なので、実際は「限りなく0に近い数」となる ■微分の計算 計算の練習として、以下を微分してみる \[f(x) = x^{2} \] 微細な変化量を表す式において、変化量を「限りなく0に近い数」にすると、以下のように表すことができる \[\frac{df}{dx} = \lim_{x \to 0} \frac{ f(x + \Delta x) - f(x) }{\Delta x} \] f(x) は x^2 なので、置き換えると以下のようになる \[\frac{df}{dx} = \lim_{x \to 0} \frac{ (x + \Delta x)^{2} - x^{2} }{\Delta x} \] 式を展開する \[\frac{df}{dx} = \lim_{x \to 0} \frac{ x^{2} + 2x\Delta x + (\Delta x)^{2} - x^{2} }{\Delta x} \] 式を整理する \[\frac{df}{dx} = \lim_{x \to 0} \frac{ 2x\Delta x + (\Delta x)^{2} }{\Delta x} \] \[\frac{df}{dx} = \lim_{x \to 0} (2x + \Delta x) \] Δxを限りなく0に近づけると、Δxが消えて以下のようになる \[\frac{df}{dx} = 2x \] これで計算は完了 つまりxの2乗を微分すると2xになる 上の計算を踏まえて、以下に微分の性質を3つ示す。覚えておくと式の整理を効率よく行える 1つめ \[f(x) = x^{n} \] という式があるとき、これを微分すると以下のようになる \[\frac{d}{dx}f(x) = nx^{n-1} \] 2つめ 複数の関数や定数は以下のように扱える \[\frac{d}{dx}(f(x) + g(x)) = \frac{d}{dx}f(x) + \frac{d}{dx}g(x) \] \[\frac{d}{dx}(af(x)) = a\frac{d}{dx}f(x) \] 3つめ 「x」に関係のない定数aの微分は0になる \[\frac{d}{dx}a = 0 \] 以下計算例 \[\frac{d}{dx}5 = 0 \] \[\frac{d}{dx}x = \frac{d}{dx}x^{1} = 1\cdot x^{0} = 1 \] \[\frac{d}{dx}x^{3} = 3x^{2} \] \[\frac{d}{dx}x^{-2} = -2x^{-3} \] \[\frac{d}{dx}10x^{4} = 10\frac{d}{dx}x^{4} = 10\cdot 4x^{3} = 40x^{3} \] \[\frac{d}{dx}(x^{5} + x^{6}) = \frac{d}{dx}x^{5} + \frac{d}{dx}x^{6} = 5x^{4} + 6x^{5} \] ■偏微分 上で紹介した関数「f(x)」は変数が「x」しかない1変数関数だが、変数が2つ以上ある多変数関数も存在する 機械学習の最適化問題はパラメータの数だけ変数があるので、目的関数が多変数関数となる \[g(x_{1}, x_{2}, … , x_{n}) = x_{1} + x_{2}^{2} … + x_{n}^{n} \] 多変数関数を微分する場合、微分する変数だけに注目し、他の変数はすべて定数として扱うことにして微分する このような微分方法を偏微分という 例えば \[h(x_{1}, x_{2}) = x_{1}^{2} + x_{2}^{3} \] このように変数が2つある場合、3次元空間へのプロットとなる これを例えば「x2 = 1」に固定してみると、以下のように「h」は「x1」だけの関数になる \[h(x_{1}, x_{2}) = x_{1}^{2} + 1^{3} \] これで単純な二次関数となる 定数を微分するとすべて0になるので、「h」を「x1」で偏微分すると以下の結果になる（左辺は「h(x1, x2)の偏微分」の意味を表す） \[\frac{\partial}{\partial x_{1}}h(x_{1}, x_{2}) = 2x_{1} \] 同じ要領で「x1 = 1」に固定してみると、以下のように「h」は「x2」だけの関数になる \[h(x_{1}, x_{2}) = 1^{2} + x_{2}^{3} \] 「h」を「x2」で偏微分すると以下のようになる \[\frac{\partial}{\partial x_{2}}h(x_{1}, x_{2}) = 3x_{2}^{2} \] このように、微分したい変数のみに注目して、他の変数をすべて定数として扱うことで、その変数での関数の傾きを知ることができる 今回は2つの変数を持つ関数での例を挙げたが、変数がどれだけ増えたとしても同じ考え方が適用できる ■合成関数 例えば、以下のような2つの関数「f(x)」と「g(x)」があるとする \[f(x) = 10 + x^{2} \] \[g(x) = 3 + x \] このとき、「x」に適当な値を代入すると、それに対応する値が出力される \[f(1) = 10 + 1^{2} = 11 \] \[f(2) = 10 + 2^{2} = 14 \] \[g(1) = 3 + 1 = 4 \] \[g(2) = 3 + 2 = 5 \] 「x」には関数を代入することもできる \[f(g(x)) = 10 + g(x)^{2} = 10 + (3 + x)^{2} \] \[g(f(x)) = 3 + f(x) = 3 + (10 + x^{2}) \] 「f(x)」の中に「g(x)」が、もしくは「g(x)」の中に「f(x)」が使われているが、このように関数が複数組み合わさったものを合成関数と呼ぶ 例えば合成関数「f(g(x))」を「x」で微分することを考えてみる 解りやすくするために、いったん以下のように変数に置き換えてみる \[u = g(x) \] \[y = f(u) \] こうすると、以下のように段階的に微分できる \[\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx} \] つまり「y」を「u」で微分し、「u」を「x」で微分したものを掛けることで計算できる 実際に微分をすると以下のようになる \[\frac{dy}{du} = \frac{d}{du} f(u) \] \[\frac{dy}{du} = \frac{d}{du} (10 + u^{2}) = 2u \] \[\frac{du}{dx} = \frac{d}{dx} g(x) \] \[\frac{du}{dx} = \frac{d}{dx} (3 + x) = 1 \] それぞれの結果を掛けると、微分結果を得ることができる \[\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx} \] \[\frac{dy}{dx} = 2u \cdot 1 \] \[\frac{dy}{dx} = 2g(x) \] \[\frac{dy}{dx} = 2(3 + x) \] ■加法定理 以下の関係が成り立つ sin(A + B) = sinA cosB + cosA sinB sin(A - B) = sinA cosB - cosA sinB cos(A + B) = cosA cosB - sinA sinB cos(A - B) = cosA cosB + sinA sinB 加法定理の証明は、以下のページが解りやすい 加法定理 https://w3e.kanazawa-it.ac.jp/math/category/sankakukansuu/kahouteiri/henkan-tex.cgi?target=/math/cat... ■ベクトルと行列 ベクトルとは数を縦に並べたもの、行列とは数を縦と横に並べたもので、それぞれ以下のような形をしている \[a = \begin{bmatrix} 3 \\ 9 \end{bmatrix} , A = \begin{bmatrix} 6 & 3 \\ 8 & 10 \end{bmatrix} \] 慣習的にベクトルは小文字、行列は大文字のアルファベットを用いる（加えて、太文字で表すことが多い） ここでベクトルaは縦に2つの数が並んでおり、これは2次元ベクトルとなる 行列Aは縦横に2つの数が並んでおり、2×2（2行2列）のサイズの行列となる ベクトルを「列が1つしかない行列」と考えると、aは「2×1の行列」とみなすことができる \[A = \begin{bmatrix} 6 & 3 \\ 8 & 10 \end{bmatrix} , B = \begin{bmatrix} 2 & 1 \\ 5 & -3 \end{bmatrix} \] 行列は、それぞれ和差積の演算を定義することができる 和と差は単純に各要素ごとに足し算と引き算をすればいい \[A + B = \begin{bmatrix} 6 + 2 & 3 + 1 \\ 8 + 5 & 10 - 3 \end{bmatrix} = \begin{bmatrix} 8 & 4 \\ 13 & 7 \end{bmatrix} \] \[A - B = \begin{bmatrix} 6 - 2 & 3 - 1 \\ 8 - 5 & 10 + 3 \end{bmatrix} = \begin{bmatrix} 4 & 2 \\ 3 & 13 \end{bmatrix} \] 積は少し特殊で、左側の行列の「行」と右側の行列の「列」の要素を順番に掛けてから、それらを足し合わせる 行列同士の掛け算をする場合、左側にある行列の列数と、右側にある行列の行数が一致している必要がある \[AB = \begin{bmatrix} 6 * 2 + 3 * 5 & 6 * 1 + 3 * -3 \\ 8 * 2 + 10 * 5 & 8 * 1 + 10 * -3 \end{bmatrix} = \begin{bmatrix} 27 & -3 \\ 66 & -22 \end{bmatrix} \] また、以下のように行と列を入れ替える操作を転置と呼ぶ \[a = \begin{bmatrix} 2 \\ 5 \\ 2 \end{bmatrix} , a^{T} = \begin{bmatrix} 2 & 5 & 2 \end{bmatrix} \] ベクトル同士を掛ける場合、以下のように片方を転地してから積を計算することがある これはベクトル同士の内積を求めることと同じ \[a = \begin{bmatrix} 2 \\ 5 \\ 2 \end{bmatrix} , a^{T} = \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix} \] \[a^{T}b = \begin{bmatrix} 2 & 5 & 2 \end{bmatrix} \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix} \] \[a^{T}b = [ 2 * 1 + 5 * 2 + 2 * 3 ] \] \[a^{T}b = [ 18 ] \] ■ベクトルと内積 ※整理中。考え方や計算などに間違いがある可能性があるので注意 以下で具体例をもとに、ベクトルの性質を確かめる 2つの2次元ベクトルがあるとする \[a = (3, 1), b = (2, 3) \] aにおいて、斜辺の長さは \[\sqrt{3^{2} + 1^{2}} = \sqrt{10} （近似値は3.16227程度） \] となる またbにおいて、斜辺の長さは \[\sqrt{2^{2} + 3^{2}} = \sqrt{13} （近似値は3.60555程度） \] となる cosをもとに、ベクトルaとx軸の成す角度を求めると、 \[3 / 3.16227 = 0.94868... \] となり、このときの角度は18.43554...度となる（アークコサインでラジアンを求められるので、それを角度に変換する） またcosをもとに、ベクトルbとx軸の成す角度を求めると、 \[2 / 3.60555 = 0.55470... \] となり、このときの角度は56.30994...度となる（アークコサインでラジアンを求められるので、それを角度に変換する） よってベクトルaとbの成す角度は、 \[56.30994 - 18.43554 = 37.8744 \] となり、約38度となる これをもとに、公式を使ってベクトルaとbの内積を求めると \[a・b = |a|・|b|・cos\theta = 3.16227・3.60555・cos(37.8744) = 3.16227・3.60555・cos(38) = 3.16227 * 3.60555 * 0.78935 = 8.99994 \] となり、ベクトルaとbの内積は9となる 続いて、座標からも内積を求めてみる \[a = \begin{bmatrix} 3 & 1 \end{bmatrix}, b = \begin{bmatrix} 2 & 3 \end{bmatrix} \] 一方を転置して計算する \[a b^{T} = \begin{bmatrix} 3 & 1 \end{bmatrix} \begin{bmatrix} 2 \\ 3 \end{bmatrix} = \begin{bmatrix} 3 * 2 + 1 * 3 \end{bmatrix} = \begin{bmatrix} 9 \end{bmatrix} \] この場合も、値が9になることを確認できる つまりベクトル同士の掛け算において、片方を転置してから積を計算することで、ベクトル同士の内積を取ることができる 続いて、内積が何を求めているかを改めて考える まずはbの地点からベクトルaに対して垂直に線を引いた時の、その交点と原点の距離を求める 距離をxと置くと、以下のように求めることができる \[cos(37.8744) = x / 3.60555 \] \[0.78935 = x / 3.60555 \] \[x = 0.78935 * 3.60555 = 2.84604 \] 求められたxに、aの長さをかけたものが内積となる \[2.84604 * 3.16227 = 8.99994 \] この場合も、値が9になることを確認できる つまり内積とは「ベクトルbの終点からベクトルaに対して垂直に線を引いた時の、その交点と原点の距離」にベクトルaの長さをかけたもの ベクトルの内積というのは何を求めているのでしょうか。 - 内積を使って何が求ま... - Yahoo!知恵袋 https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q14183393379 【数学】「内積」の意味をグラフィカルに理解すると色々見えてくる その１ #Python - Qiita https://qiita.com/kenmatsu4/items/a144047c1b49aa8c7eb0 以下はベクトルを図示するプログラム ベクトルaの長さは約3.16、ベクトルbの長さは約2.85 3.16×2.85＝9.006 で、おおよそ9になる さらに別の側面から考察 行列との関係を考えてみる 以下のベクトルaとbがあるとする a = (3, 1), b = (2, 3) ベクトルaとbの内積は以下のように求められる 3*2 + 1*3 = 9 ベクトルaとbを2行2列の行列とみなし、そのまま行列の積を求めると以下のようになる bを転置して計算すると以下のようになる 転置して計算することで9（内積の値）になることが確認できる （スカラーと行列は別ではあるが、1つの要素以外は0なので、9と言えなくはない…と思う） さらに別の側面から考察 少し極端な値のベクトルで考えてみる 以下ベクトルaとbの場合、 a = (5, 1), b = (0.1, 50) 内積は以下のようになる 5*0.1 + 1*50 = 0.5 + 50 = 50.5 コサインを使って求める場合、内積は以下のようになる ・ベクトルaの長さは、三平方の定理より5.1（5.09901951359）となる ・ベクトルbの長さは、三平方の定理より50（50.0000999999）となる ・コサインの値は 50.5 / (5.10 * 50.00) なので0.198（0.19803921568）となる ・よってコサインを使用した内積は 5.1 * 50 * 0.198 で、約50.5となる つまり、転置して計算した場合と同じ値を求められていることが判る 続いて「a・b = ab cos(θ)」を数学的に証明する 2つの2次元実ベクトルA, Bの長さをそれぞれa, bとし、それらの交点をθとする また、ベクトルAの角度をΦとする このとき、ベクトルA, Bは以下のように表すことができる A = (a1, a2) = (a cosΦ, a sinΦ) B = (b1, b2) = (b cos(θ+Φ), b sin(θ+Φ)) 一方を転置して積を求める。つまり内積を求めると以下のようになる a cosΦ・b cos(θ+Φ) + a sinΦ・b sin(θ+Φ) 共通要素のabをまとめると以下のようになる ab { cosΦ・cos(θ+Φ) + sinΦ・sin(θ+Φ) } 三角関数の加法定理によると、以下の関係が成り立つ 1. sin(A + B) = sinA cosB + cosA sinB 2. sin(A - B) = sinA cosB - cosA sinB 3. cos(A + B) = cosA cosB - sinA sinB 4. cos(A - B) = cosA cosB + sinA sinB この定理のうち、4を用いて式を変形する ab { cos(Φ - (θ+Φ)) } = ab { cos(Φ - θ - Φ) } = ab { cos(-θ) } コサインカーブをもとにすると、「cos(-θ) = cos(θ)」となる よって、最終的に以下のように変形できる = ab cos(θ) これにより、「一方を転置して積を求める。つまり内積を求める」という計算は、以下と等価となる ab cos(θ) これで以下の関係が求められた a・b = ab cos(θ) 内積(ベクトルの内積)とは？定義・公式・計算例・意味・英語訳【線形代数】 | k-san.link https://k-san.link/inner-product/ 以下メモ 行列の積(掛け算)を分かりやすく解説！ - 「なんとなくわかる」大学の数学・物理・情報 https://www.krrk0.com/matrix-multiplication/ 行列の演算（和・定数倍・積）の定義と性質をわかりやすく丁寧に | 数学の景色 https://mathlandscape.com/matrix-cal/ 行列の掛け算について、その「意味」を教えてください。 - まず、（1行2... - Yahoo!知恵袋 https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q11256265466 転置行列の意味が少しわかりました | 進化するガラクタ https://evolvingbook.com/2019/01/28/transposed-matrix/ 転置行列の意味・重要な7つの性質と証明 | 高校数学の美しい物語 https://manabitimes.jp/math/1046 「ルート2」を求める場合のJavaScript Math.sqrt(2) = 1.41421... 「cos(60)は0.5」を求める場合のJavaScript Math.cos(60 * Math.PI / 180) = 0.5 「0.5はcos(60)」を求める場合のJavaScript 180 / Math.PI * Math.acos(0.5) = 60 ■法線ベクトル 法線ベクトルとは、ある直接に垂直なベクトルのこと 例えば \[ax + by + c = 0 \] という直線があるとき、その法線ベクトルpは \[p = (a, b) \] となる ■指数・対数 指数とは、数の右上に記載して「その数を何乗するか」を表すもの 例えば以下のようなもの \[x^{3} = x \cdot x \cdot x \] \[x^{-4} = \frac{1}{x^{4}} = \frac{1}{x \cdot x \cdot x \cdot x} \] 指数は以下のような性質を持っており、これらは指数法則と呼ばれている \[a^{b} \cdot a^{c} = a^{b + c} \] \[\frac{a^{b}}{a^{c}} = a^{b - c} \] \[(a^{b})^{c} = a^{b + c} \] 上のように、指数は通常普通の数が使われるが、指数部が変数になっているものがある こようなものは指数関数と呼ばれ、以下のような関数の形をしている（「a > 1」の場合） \[y = a^{x} \] このような指数関数の逆関数として対数関数というものがあり、それを log を使って以下のように表す \[y = {log_{a}}x \] 逆関数とは、ある関数の「x」と「y」を入れ替えた関数のこと 逆関数のグラフの形は、もとの関数のグラフを時計回りに90度回転させて、左右方向に反転させた形になっている これは「a を y 乗すると x になる」と考えることができる また「a」の部分を「底」と呼ぶが、特にネイピア数（「e」という記号で表される 2.7182… という定数）を底としたものを自然対数と言い、 自然対数の場合は底を省略して単純に log または ln を使って以下のように表すことが多くある \[y = {log_{e}}x = log \ x = ln \ x \] この対数関数は以下のような性質を持っている \[log \ e = 1 \] \[log \ ab = log a + log b \] \[log \frac{a}{b} = log \ a - log \ b \] \[log \ a^{b} = b \ log \ a \] また、対数関数の微分もよく使われる 底を「a」とする対数関数の微分は以下のようになる \[\frac{d}{dx}log_{a}x = \frac{1}{x \ log \ a} \] 特に底が「e」の自然対数については、「log e = 1」という性質から、微分結果も以下のように簡潔なものになる \[\frac{d}{dx}log_{e}x = \frac{1}{x} \] ■代表値 平均値 … 変量の総和を個数で割ったもの。外れ値の影響を受けやすい 中央値 … 母集団の分布の中央にくる値。平均値に比べて外れ値の影響を受けにくい 最頻値 … 最も多い度数（頻度）を示す値。外れ値の影響はまず受けない ■標準偏差 標準偏差の意味と求め方 | AVILEN AI Trend https://ai-trend.jp/basic-study/basic/standard-deviation/ 統計学における分散とは？不偏分散との違いも！ 例題でわかりやすく解説 | AVILEN AI Trend https://ai-trend.jp/basic-study/basic/variance/ 以下のデータがあるとする 名前: 得点 Aさん: 90点 Bさん: 80点 Cさん: 40点 Dさん: 60点 Eさん: 90点 平均は以下のように求められる \[(90 + 80 + 40 + 60 + 90) / 5 \\ = 72 \] 偏差（平均からの隔たりの大きさ）は以下のように求められる Aさん: 90 - 72 = 18 Bさん: 80 - 72 = 8 Cさん: 40 - 72 = -32 Dさん: 60 - 72 = -12 Eさん: 90 - 72 = 18 分散（データのばらつき具合）は以下のように求められる。偏差を2乗（マイナスの値を無くすため）し、すべてを足し合わせた値の平均を出している 偏差は個々の値を見るが、偏差ではデータ全体のばらつき具体を見ることができる 分散の値が大きければ、ばらつき具合が大きいということになる \[((90 - 72)^2 + (80 - 72)^2 + (40 - 72)^2 + (60 - 72)^2 + (90 - 72)^2) / 5 \\ = ((18)^2 + (8)^2 + (-32)^2 + (-12)^2 + (18)^2) / 5 \\ = (324 + 64 + 1024 + 144 + 324) / 5 \\ = 376 \] 分散は偏差を2乗した値の平均を取っているため、その数値はもとのデータとは単位が異なる そこで、平方根で本来のデータと単位を揃える この値を標準偏差と呼ぶ \[√376 \\ =19.3907194297 \] これで「平均点±19.39点の中に大体の人がいる」ということを求めらえる 正規分布（平均値と最頻値・中央値が一致し、それを軸として左右対称となっている確率分布）の場合、平均値±標準偏差中に観測データが含まれる確率は68.3%になる これが±標準偏差の2倍、3倍になるとさらに確率は上がる - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 範囲 範囲内に指定の数値が現れる確率 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 平均値±標準偏差 68.3% 平均値±(標準偏差×2) 95.4% 平均値±(標準偏差×3) 99.7% - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 各値について、平均値との差を標準偏差で割ると「平均が0、標準偏差が1」のデータになる（つまり「0±1の中に大体（7割ほど）のデータが存在する」となる） これを標準化と呼ぶ（X軸のスケールのみが小さくなる。機械学習の際、データを標準化して扱うことで処理が早くなる） Aさん: (90 - 72) / 19.39 = 0.93 Bさん: (80 - 72) / 19.39 = 0.41 Cさん: (40 - 72) / 19.39 = -1.65 Dさん: (60 - 72) / 19.39 = -0.62 Eさん: (90 - 72) / 19.39 = 0.93 ※平均は「0.93 + 0.41 - 1.65 - 0.62 + 0.93 = 0」となる 分散は「((0.93 - 0)^2 + (0.41 - 0)^2 + (-1.65 - 0)^2 + (-0.62 - 0)^2 + (0.93 - 0)^2) / 5 = 1.00096 = おおよそ1」となる 標準偏差は「1」となる（1の平方根は1） 標準化については以下も参照 機械学習でなぜ正規化が必要なのか - Qiita https://qiita.com/yShig/items/dbeb98598abcc98e1a57 【統計・機械学習】標準化（Standardization）と正規化（Normalization）とは？初心者向けにわかりやすく解説 | AI Academy Media https://aiacademy.jp/media/?p=1147 正規化・標準化を徹底解説 （Python 前処理 サンプルコード付き） https://www.codexa.net/normalization-python/ 【機械学習入門】正規化と標準化の特徴量のスケーリングの使い分け方法 https://www.hobby-happymylife.com/%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0/no... 標準化した値を10倍して50を加えると、「平均が50、標準偏差が10」のデータになる。この値を偏差値と呼ぶ つまり、偏差値は以下のように求める ((得点 - 平均点) / 標準偏差) * 10 + 50 偏差値が50ということは、集団での平均値と一致するということになる 偏差値が60ということは、平均値±標準偏差なので、集団の中で上から約19.85%（(100 - 68.3) / 2）のところに位置しているということになる 偏差値が70ということは、平均値±(標準偏差×2)なので、集団の中で上から約2.3%（(100 - 95.4) / 2）のところに位置しているということになる 今回の場合、80点の偏差値は以下のようになる \[((80 - 72) / 19.39) * 10 + 50 \\ = 54.1258380609 \] 今回の場合、90点の偏差値は以下のようになる \[((90 - 72) / 19.39) * 10 + 50 \\ = 59.2831356369 \] ■標準偏差（実際の得点に近いデータで確認） 疑似偏差値計算 https://shade-search.com/sts/fsw/hensachi/test.cgi 作成された、以下の得点データで試す - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 得点エリア 人数 得点エリアの平均点 得点エリアの合計点 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 0〜9 4 4.5 18.0 10〜19 9 14.5 130.5 20〜29 31 24.5 759.5 30〜39 42 34.5 1449.0 40〜49 64 44.5 2848.0 50〜59 60 54.5 3270.0 60〜69 44 64.5 2838.0 70〜79 30 74.5 2235.0 80〜89 12 84.5 1014.0 90〜100 4 95.0 380.0 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 参考までに、得点エリアごとの人数をグラフにプロットするには以下のようになる 偏差値は以下のようになる 得点合計 ... 14938 得点の平均 ... 49.7933333333333 標準偏差 ... 18.5568663542337 0点の偏差値 = (( 0 - 49.79) / 18.56) * 10 + 50 = 23.1734913793 24点の偏差値 = (( 24 - 49.79) / 18.56) * 10 + 50 = 36.1045258621 70点の偏差値 = (( 70 - 49.79) / 18.56) * 10 + 50 = 60.8890086207 96点の偏差値 = (( 96 - 49.79) / 18.56) * 10 + 50 = 74.8976293103 100点の偏差値 = ((100 - 49.79) / 18.56) * 10 + 50 = 77.0528017241 以下はサンプリングしたデータから標準偏差と偏差値を計算した場合 得点合計 = 14942 得点の平均=49.8066666666667 標準偏差 = 18.4979986905491 （疑似平均使用） 24点の偏差値 = 36.0489412404101 （疑似平均使用） 以下は全体の平均値のみ、オリジナルデータから得た場合 標準偏差 = 18.4980034958731 （オリジナルの平均使用） 24点の偏差値 = 36.0561528496371 （オリジナルの平均使用） 標準偏差の誤差 abs(18.4979986905491 - 18.5568663542337) = 0.0588676636845697 偏差値の誤差 abs(36.0489412404101 - 36.1003830921869) = 0.0514418517768078 ■最急降下法 最急降下法（さいきゅうこうかほう）もしくは勾配降下法（こうばいこうかほう）と呼ばれる ※整理中。以下を参考にメモを残しておきたい やる夫で学ぶ機械学習 - 単回帰問題 - - けんごのお屋敷 http://tkengo.github.io/blog/2016/01/04/yaruo-machine-learning2/ 最急降下法の概要 - Qiita https://qiita.com/Takayoshi_Makabe/items/ee467313c38b1879c097 \[g(x) = (x - 1)^{2} \] という二次関数のグラフがあるとき、最小値は x = 1 のときの g(1) = 0 である この式は単純なので簡単に求められるが、複雑な式の場合には以下のように求める方法がある まず、二次関数の増減表を求める 増減表を求めるためには関数を微分する \[\frac{d}{dx}g(x) = 2x - 2 \] 増減表は以下のようになる 例えば x = 3 からスタートして g(x) の値を小さくするためには、x を少しずつ左にずらしていけばいい（増減表から x > 1 の時は、グラフが左下がりになっているのがわかるため） x = -3 からだと、逆に右にずらしていけばいい つまり導関数の符号によって x をずらす方向が変わる（マイナスなら減少だから右にずらし、プラスなら増加だから左にずらす） このように微分して導関数を求めて、その符号によって x の位置をずらす、別の言い方をすると x を更新していくことで、最小値を求める x の更新を式にすると以下のようになる \[x := x - \eta \frac{d}{dx} g(x) \] これは「x を新しい x で定義していく」ということになり、つまりは計算で求めた x を次の計算に使うことになる この手法を最急降下法や勾配降下法という 微分式の前に付いている記号は「イータ」と読み、学習率と呼ばれる正の定数 学習率が小さければ、g(x) の最小値にたどり着くまでに何度も x を更新する必要があって時間がかかってしまう 逆に学習率を大きくすれば、速く g(x) の最小値にたどり着ける可能性があるが、x が定まらず発散してしまう可能性もある 具体的には g(x) の微分は 2x - 2 だから、x を更新する式は \[x := x - \eta (2x - 2) \] となる イータを1として x = 3 から始めて計算すると x := 3 - 1(2 * 3 - 2) = 3 - 4 = -1 x := -1 - 1(2 * -1 - 2) = -1 + 4 = 3 x := 3 - 1(2 * 3 - 2) = 3 - 4 = -1 となり、ループして求めることができない （１つ目の式で求められた「-1」を2つ目の式で使う。以降も同じように計算している） これが発散している状態 イータを0.1として計算すると x: = 3 - 0.1(2 * 3 - 2) = 3 - 0.4 = 2.6 x: = 2.6 - 0.1(2 * 2.6 - 2) = 2.6 - 0.3 = 2.3 x: = 2.3 - 0.1(2 * 2.3 - 2) = 2.3 - 0.2 = 2.1 x: = 2.1 - 0.1(2 * 2.1 - 2) = 2.1 - 0.2 = 1.9 となり、時間はかかるが正解には近づくことができている （１つ目の式で求められた「2.6」を2つ目の式で使う。以降も同じように計算している） [python]算数・数学?~関数と方程式~ - Qiita https://qiita.com/hiroyuki_mrp/items/d4194a6de594c2e0f56f ■基本のグラフ \[y = x \] ■1次関数 \[y = 2x + 3 \] ■2次関数 \[y = x^{2} + 1 \] ■3次関数 \[y = x^{3} + 4 \] ■連立方程式 2点 (3, 6) と (4, 12) を通る直線を求める ・「x = 3」のときに「y = 6」となる ・「x = 4」のときに「y = 12」となる なので、1次関数「y = ax + b」に当てはめて 6 = 3a + b 12 = 4a + b となる この連立方程式を解けばいい 以下はプログラムを使わずに解く例 b = 6 - 3a 12 = 4a + 6 - 3a a = 6 6 = 3 * 6 + b b = -12 y = 6x - 12 以下はプログラムを使って解く例 実行して 「ModuleNotFoundError: No module named 'sympy'」 のエラーになる場合、sympyをインストールする必要がある $ pip3.7 install sympy 以下は実行結果 $ python3.7 math.py {a: 6, b: -12} 以下の書籍の勉強メモ 最小二乗法を使って一次関数の式を求める やさしく学ぶ 機械学習を理解するための数学のきほん アヤノ＆ミオと一緒に学ぶ 機械学習の理論と数学、実装まで https://www.amazon.co.jp/gp/product/B075GSMZDS この書籍のもとになったページが以下にある やる夫で学ぶ機械学習シリーズ - けんごのお屋敷 http://tkengo.github.io/blog/2016/06/06/yaruo-machine-learning0/ ■回帰の実践 click.csv 以下でグラフに配置して確認できる 以下で一次関数の学習データをプロットできる 実行の際、以下のようなログが出力される 「theta0 = 429.000」「theta1 = 93.446」と求められている これは予測関数「theta0 + theta1 * x」にある「theta0」と「theta1」の値を求めている つまり、予測関数は「429.000 + 93.446 * x」ということ プログラムの最後に以下を追加すると 実行時に以下も表示される つまり、個別に予測を表示できる 以下は詳細解説付きのコード（解説の都合上、一部プログラムも変更している） 以下メモ …だが、まだまだ理解を超えているので要勉強 予測データを関数として表すことができれば、与えられたデータをもとに予測を立てることができる シンプルな例として、今回の学習データは一次関数であると推測して実装する 一次関数の学習データは以下のように表すことができる \[y = ax + b \] この式を以下のように表すものとする \[f_{\theta}(x) = \theta_{0} + \theta_{1}x \] これが予測関数の元になっており、このシータ1とシータ2の値を求めることができれば正しい予測ができることになる そしてこれらの式において、 \[y = f_{\theta}(x) \] と一致するときが誤差のない状態となる これを変形すると \[y - f_{\theta}(x) = 0 \] と表すことができる 学習データが「n」個あるとして、学習データごとの誤差の和は以下のように表すことができる（この誤差の和が小さければ小さいほど正確な予測と言える） 左辺の E は、誤差を英語で表したときの「Error」の頭文字から取ったもの これが目的関数の元になっている なお、全体を2で割っているのは微分の計算を簡単にするため、2乗しているのは誤差が負の値になっても正確に算出するため \[E(\theta) = \frac{1}{2} \sum_{i=1}^{n} (y^{(i)} - f_{\theta}(x^{(i)}))^{2} \] このようなアプローチを最小二乗法と呼ぶ 標準化（学習データの平均を0、分散を1とする）は以下で行う 必須の処理ではないが、行っておくとパラメータの収束が早くなる 標準化については、このファイル内にある「数学の復習」の「標準偏差」も参照 \[z^{(i)} = \frac{x^{i} - \mu}{\sigma} \] 目的関数で E を小さくしていけば誤差が小さくなる ただし、適当に値を代入して求めるのは大変。このようなときは微分を使って求めていく この目的関数は \[f_{\theta}(x^{(i)}) \] を含んでいて、この値はシータ0とシータ1の2つのパラメーターを持っている つまりこの目的関数は、シータ0とシータ1の2つの変数を持つ2次関数になる よって普通の微分ではなく偏微分となり、更新式は以下のようになる \[\theta_{0} := \theta_{0} - \eta \frac{\partial E}{\partial \theta_{0}} \] \[\theta_{1} := \theta_{1} - \eta \frac{\partial E}{\partial \theta_{1}} \] これは最急降下法や勾配降下法と呼ばれるもの 分数の前に付いている記号は「イータ」で、学習率と呼ばれる正の定数 学習率の大小によって、最小値にたどり着くまでの更新回数が変わってくる 偏微分の計算を行うが、正攻法の微分は大変。よって合成関数の微分を使う。今回は以下のように定義する \[u = E(\theta) \] \[\nu = f_{\theta}(x) \] すると、以下のように段階的に微分できる \[\frac{\partial u}{\partial \theta_{0}} = \frac{\partial u}{\partial \nu} \cdot \frac{\partial \nu}{\partial \theta_{0}} \] これを計算すると、1つ目の値は \[\frac{\partial u}{\partial \nu} = \frac{\partial}{\partial \nu}(\frac{1}{2} \sum_{i=1}^{n} (y^{(i)} - \nu)^{2}) \] \[\frac{\partial u}{\partial \nu} = \frac{1}{2} \sum_{i=1}^{n} (\frac{\partial}{\partial \nu}(y^{(i)} - \nu)^{2}) \] \[\frac{\partial u}{\partial \nu} = \frac{1}{2} \sum_{i=1}^{n} (\frac{\partial}{\partial \nu}(y^{(i)2} - 2y^{(i)}\nu + \nu^{2})) \] \[\frac{\partial u}{\partial \nu} = \frac{1}{2} \sum_{i=1}^{n} (-2y^{(i)} + 2\nu) \] \[\frac{\partial u}{\partial \nu} = \sum_{i=1}^{n} (\nu - y^{(i)}) \] となる なお、3行目から4行目への変換時にカッコ内で行われている計算は ・「y^{(i)2}」はvで微分すると「0」になる ・「-2y^{(i)}v」はvで微分すると「-2y^(i)」になる ・「v^2」はvで微分すると「2v」になる ・それぞれを合わせて、「-2y^(i) + 2v」になる となる また2つ目の値は \[\frac{\partial \nu}{\partial \theta_{0}} = \frac{\partial}{\partial \theta_{0}}(\theta_{0} + \theta_{1}x) \] \[\frac{\partial \nu}{\partial \theta_{0}} = 1 \] になる これをかけ合わせると \[\frac{\partial u}{\partial \theta_{0}} = \frac{\partial u}{\partial \nu} \cdot \frac{\partial \nu}{\partial \theta_{0}} \] \[\frac{\partial u}{\partial \theta_{0}} = \sum_{i=1}^{n} (\nu - y^{(i)}) \cdot 1 \] \[\frac{\partial u}{\partial \theta_{0}} = \sum_{i=1}^{n} (f_{\theta}(x^{(i)}) - y^{(i)}) \] 引き続きシータ1についても微分してみる \[\frac{\partial u}{\partial \theta_{1}} = \frac{\partial u}{\partial \nu} \cdot \frac{\partial \nu}{\partial \theta_{1}} \] \[\frac{\partial u}{\partial \theta_{1}} = \frac{\partial \nu}{\partial \theta_{1}}(\theta_{0} + \theta_{1}x) \] \[\frac{\partial u}{\partial \theta_{1}} = x \] 微分する \[\frac{\partial u}{\partial \theta_{1}} = \frac{\partial u}{\partial \nu} \cdot \frac{\partial \nu}{\partial \theta_{1}} \] \[\frac{\partial u}{\partial \theta_{1}} = \sum_{i=1}^{n} (\nu - y^{(i)}) \cdot x^{(i)} \] \[\frac{\partial u}{\partial \theta_{1}} = \sum_{i=1}^{n} (f_{\theta}(x^{(i)}) - y^{(i)}) x^{(i)} \] 最終的に以下2つのパラメータの更新式を得ることができる これが更新式の元になっている \[\theta_{0} := \theta_{0} - \mu \sum_{i=1}^{n} (f_{\theta}(x^{(i)}) - y^{(i)}) \] \[\theta_{1} := \theta_{1} - \mu \sum_{i=1}^{n} (f_{\theta}(x^{(i)}) - y^{(i)})x^{(i)} \] 試行回数は一概には言えないが、今回は 10^-3 にしておく これらの内容をもとにプログラムを作成したものが先の内容となる 結果として \[\theta_{0} = 429.000 \] \[\theta_{1} = 93.446 \] という値を求められているが、つまりは求めたい1次関数は \[f_{\theta}(x) = \theta_{0} + \theta_{1}x \] \[f_{\theta}(x) = 429.000 + 93.446x \] \[y = 93.446x + 429.000 \] となる。具体的には xが100のときyは、93.446 * 100 + 429 = 9773.6 xが200のときyは、93.446 * 200 + 429 = 19118.2 xが300のときyは、93.446 * 300 + 429 = 28462.8 …だとおかしな値だが、もとのプログラムと同じく標準化の処理を加えると以下のようになる xが100のときyは370.9671010284257 xが200のときyは510.46967317686426 xが300のときyは649.9722453253028 ■回帰の実践（勉強中） 内容を単純化するため、学習データを「y = ax + b」ではなく「y = ax」にしてみる かなり下の方にグラフが表示されるが、傾きは意図したものになっている 標準化された内容において原点 (0, 0) を通る必要があるので、傾きだけで合わせるならこのようなグラフになる …ということのはず ■多項式回帰（重回帰）の実践 ※まだ検証中。大きな勘違いがある可能性がある 以下で多項式回帰（重回帰）を検証中 実行の際、以下のようなログが出力される thetaは「405.72786608」「95.1032932」「23.28718624」と求められている これは列ベクトルだが、求めたい関数は以下のように表すことができ、 \[{\theta}^{T}x = \theta_{0}x_{0} + \theta_{1}x_{1} + \theta_{2}x_{2} + … + \theta_{n}x_{n} \] 以下の等式が成立し、 \[f_{\theta}(x) = {\theta}^{T}x \] 結果的に予測関数は「405.72537805 + 95.10346544 * x + 23.28861321 * x^2」ということになる （現状かなり端折った内容になっているので、詳細は書籍を参照） プログラムの最後に以下を追加すると 実行時に以下も表示される つまり、個別に予測を表示できる 以下、メモ付きで検証中 学習データは標準化と行列変換を経て X に格納される X の内容は以下のとおりで、これは以降変化しない [[ 1. 1.39433428 1.94416809] [ 1. 1.11069026 1.23363286] [ 1. 0.09554325 0.00912851] [ 1. -1.59139223 2.53252924] [ 1. -0.8449606 0.71395842] [ 1. 0.93154667 0.8677792 ] [ 1. -1.38239138 1.91100592] [ 1. -1.74067856 3.02996185] [ 1. 0.46875906 0.21973506] [ 1. 0.73747445 0.54386856] [ 1. -0.11345761 0.01287263] [ 1. -0.63595975 0.4044448 ] [ 1. -0.36724436 0.13486842] [ 1. -0.44188752 0.19526458] [ 1. 0.3045441 0.09274711] [ 1. 1.94669369 3.78961632] [ 1. 0.25975821 0.06747433] [ 1. 0.25975821 0.06747433] [ 1. -1.23310505 1.52054807] [ 1. 0.84197488 0.70892169]] 更新用パラメータはランダムに決定されて theta に格納される theta の内容は一例として以下のような値で、これはループによって最適化（更新）されていく [0.52525576, 0.26226403, 0.01139251] 10回最適化を行った段階では、以下のような値になる [72.43856197 17.76450257 68.07431847] 100回最適化を行った段階では、以下のような値になる [281.75465761 87.39699393 92.87228457] 最適化完了後（795回ループし、誤差が 0.01 以下になったとき）、以下のような値になる [405.72537805 95.10346544 23.28861321] これにより、求められた2次関数の式は y = 405.72537805 + 95.10346544 * x + 23.28861321 * x^2 となる xが100, 200, 300 のときの値は、「回帰の実践」のときと同様 100 = (100 - 141.6) / 66.98537153737374 = -0.62103111538 200 = (200 - 141.6) / 66.98537153737374 = 0.87183214274 300 = (300 - 141.6) / 66.98537153737374 = 2.36469540087 となるので、予測は以下のようになる y = 405.72537805 + 95.10346544 * (-0.62103111538) + 23.28861321 * (-0.62103111538 * -0.62103111538) = 355.645110936 y = 405.72537805 + 95.10346544 * (0.87183214274) + 23.28861321 * (0.87183214274 * 0.87183214274) = 506.34110805 y = 405.72537805 + 95.10346544 * (2.36469540087) + 23.28861321 * (2.36469540087 * 2.36469540087) = 760.841008005 よって x=100ならy=355 x=200ならy=506 x=300ならy=760 となる np.dotによる計算は、このファイル内の「Python > 行列の計算」にある「Aが2次元配列でBが1次元配列の場合」を参照 今回は、以下のような計算がされることになる result の内容は以下のとおり 先頭の 0.91308844 という値は、「theta」と「Xの1つめの要素」を使って以下のように求められている = (1 * 0.52525576) + (1.39433428 * 0.26226403) + (1.94416809 * 0.01139251) 次の 0.83060404 という値は、「theta」と「Xの2つめの要素」を使って以下のように求められている = (1 * 0.52525576) + (1.11069026 * 0.26226403) + (1.23363286 * 0.01139251) これを最後まで繰り返し、1次元配列の値を作っている ■メモ 以下なども参考になりそう 機械学習のパラメータチューニングを「これでもか！」というくらい丁寧に解説 - Qiita https://qiita.com/c60evaporator/items/ca7eb70e1508d2ba5359 データ解析を支援する機能を提供するライブラリ 以下でインストールできる データ分析で頻出のPandas基本操作 - Qiita https://qiita.com/ysdyt/items/9ccca82fc5b504e7913a pandas の loc、iloc、ix の違い - python | コード７区 http://ailaby.com/lox_iloc_ix/ Pandasで速度に難がある場合、Polarsを使うといいらしい 詳細は、後述の「Polars（データ解析支援）」を参照 ■1次元のデータ構造 実行すると以下の結果になる ■2次元のデータ構造 実行すると以下の結果になる ■CSVファイルを読み込み ■Excelファイルを読み込み 「ImportError: Missing optional dependency 'xlrd'. Install xlrd >= 1.0.0 for Excel support Use pip or conda to install xlrd.」 のエラーになる場合、xlrdをインストールする必要がある インストールしても 「ValueError: Your version of xlrd is 2.0.1. In xlrd >= 2.0, only the xls format is supported. Install openpyxl instead.」 のエラーが表示される xlrd 2.0.0 からxlsxがサポートされなくなったらしい 対策に、openpyxlをインストールする これでExcelファイルの読み込み時、「engine='openpyxl'」を指定すると読み込める ※未検証。Pandasよりも高速らしい PandasからPolarsへ移行した方がいいのか #Python - Qiita https://qiita.com/inoshun/items/30e4e78cbf221bf11a86 OpenCV（Open Source Computer Vision Library） 画像や動画を処理するのに必要な様々な機能を提供するライブラリ Pythonを用いた画像処理(openCV,skimage) - Qiita https://qiita.com/taka_baya/items/453e429b466ffaa702c9 Pythonで画像処理: Pillow, NumPy, OpenCVの違いと使い分け | note.nkmk.me https://note.nkmk.me/python-image-processing-pillow-numpy-opencv/ ■開発環境を構築 Windowsの場合は、このファイル内の「Windows上に開発環境を構築」を参照 Linuxの場合は、RaspberryPi.txt の「OpenCV」を参照 ■画像の読み込みと表示 保存の際に拡張子を「.png」にすればPNG形式で保存される 「.jpg」ならJpeg形式で保存される ■画像のグレースケール変換 ■画像の指定範囲の色を抽出 ■画像のエッジ部分を抽出 ■画像のネガポジ変換 ■画像のリサイズ ■画像のトリミング ■画像の特異点を抽出 ■画像のヒストグラムを可視化 ■輪郭抽出 実行時に 「npoints = 0 && (depth == cv_32f depth == cv_32s) in function 'pointsetboundingrect'」 のようなエラーになった場合、findContoursの「[1]」を「[0]」にすれば動作した Opencv 3.2から仕様が変わり、関数の戻り値の数が変わったとのこと Python - 輪郭抽出プログラムが実行されません｜teratail https://teratail.com/questions/175238 ■顔認識 skimageとは、画像処理に関するアルゴリズムを集めたライブラリ Pythonを用いた画像処理(openCV,skimage) - Qiita https://qiita.com/taka_baya/items/453e429b466ffaa702c9 ■画像の色の違いの部分を切り分け 形態素解析とは、文章を意味を持つ最小単位（形態素）に分割し、各形態素に品詞情報などを付加する 英単語は単語の区切りが明確だが、日本語の形態素解析は容易ではない 代表的な形態素解析ライブラリとしてMeCabがある ■MeCabをインストール Raspberry Piでpythonからmecabを使う初期設定 - Qiita https://qiita.com/fujit33/items/fd1d09f3332c626c9379 ■mecab-ipadic-NEologd を導入 MeCabは形態素解析を行うに当たり単語辞書を用いており、IPADICという単語辞書がよく用いられる mecab-ipadic-NEologd は、新しい語や固有表現を追加することで IPADICを拡張したMeCab用のシステム辞書 GitHub - neologd/mecab-ipadic-neologd: Neologism dictionary based on the language resources on the Web for mecab-ipadic https://github.com/neologd/mecab-ipadic-neologd Raspberry Pi 4 4B-32GB の環境ではインストールできた インストールに成功したら、以下のようにして辞書を指定できる Raspberry Pi 3 Model b+ の環境では以下のエラーになった メモリ不足のためインストールできないみたい 公式の解説によると4GBほどのメモリ空き容量が必要らしいが、今回の環境は1GB程度しかない mecab-ipadic-neologd/README.ja.md at master - neologd/mecab-ipadic-neologd - GitHub https://github.com/neologd/mecab-ipadic-neologd/blob/master/README.ja.md Vagrant上のVMへのmecab-ipadic-neologdのインストールが失敗する時 - Qiita https://qiita.com/comocc/items/bfa5c4fe3c84d31e8ae7 以下のようにすると、300MBほどサイズを削減できるとのこと 今回の環境ではこれでもインストールできなかった 以下のようにすると512MBほどのメモリ空き容量があればインストールできるとのこと ただしオススメしないとされている 今回の環境ではこれでもインストールできなかった 今回はメモリ不足のため mecab-ipadic-NEologd を使えないようなので、標準の辞書を使う Pythonで書かれた形態素解析ライブラリ pipでインストール可能なので、MeCabよりも手軽に扱うことができる ただし処理速度はMeCabに敵わない 内包辞書として mecab-ipadic-2.7.0-20070801 が使われている ■Janomeをインストール Welcome to janome's documentation! (Japanese) - Janome v0.4 documentation (ja) https://mocobeta.github.io/janome/ Python, Janomeで日本語の形態素解析、分かち書き（単語分割） | note.nkmk.me https://note.nkmk.me/python-janome-tutorial/ Janomeを使ってPythonで形態素解析 - Qiita https://qiita.com/charon/items/661d9a25b2233a9f8da4 ■最新の mecab-ipadic-NEologd を導入 作成された neologd.csv を作業フォルダに配置する 今回は janome ディレクトリで作業するものとする janome/neologd.csv 以下のプログラムで辞書をビルドする …が、Raspberry Pi 4 4B-32GB の環境では「MemoryError」となって処理が止まった JanomeでNEologd辞書を使う - Qiita https://qiita.com/_likr/items/0fc845f59b4ad685cc06 ■機械学習とは 機械学習とは、人間の学習能力と同様の機能をコンピューター上で実現しようとする技術 人工知能における研究課題の一つ 一般的な識別プログラムを作る場合、画像データの画素を調べて 「赤色の要素が多ければリンゴ、黄色の要素が多ければレモン」 のように判定する。判定のルールは人間が決める 機械学習で判定する場合、人間が明確なルールを決めることは無い たくさんのリンゴとレモンの画像データを用意しておいて、それを識別器というプログラムに与える そうすることで、識別器が自動的に 「リンゴには赤色の要素が多く、レモンには黄色の要素が多い」 ということを学習する ■ニューラルネットワークとは ニューラルネットワークとは、人の神経を模したネットワーク構造のこと コンピュータに学習能力をもたせることにより、様々な問題を解決するためのアプローチ 人間の脳の中には、多数の神経細胞（ニューロン）が存在している 一つのニューロンは他の複数のニューロンから信号を受け取り、他のニューロンに対して信号を渡す 脳はこのような信号の流れによって、様々な情報を伝達している この仕組をコンピュータで再現したのがニューラルネットワーク ■ディープラーニング（深層学習）とは ニューラルネットワークを3層以上重ねたものを、一般に「ディープ・ニューラル・ネットワーク（DNN）」と呼ぶ このDNNを使った機械学習がディープラーニング（深層学習） ディープラーニングでは、大量のデータを学習することで、各ニューロン間の接続の重み付けのパラメーターを繰り返し調整する ■パーセプトロンとは 比較的単純な仕組みでありながら、現在の機械学習の基礎となっている人工ニューロン 入力層と出力層のみの2層からなる、単純パーセプトロンについて考える 3つの入力x1、x2、x3と1つの出力yがあるとする そして各入力値には、0または1の値を与えることにし、出力する値も0または1になるとする ここでは例えば、「新しいパソコンを買うかどうか」について考える 新しいパソコンを買う場合に出力yは1となり、買わない場合は0になる そして入力には、パソコンを購入してもいいかどうかを判断する要因を与えるものとする ・今が買い替えどきか（x1） ・手元に資金が十分にあるか（x2） ・現在セールをしているか（x3） これらの要素を考慮し、多数決で決めることになる ただしこの多数決は、平等に一票ずつが与えられるわけではない もしその人tの手元に資金がたくさんあるなら、x2の条件はそれほど重要ではない また、今使っているパソコンが故障した場合はx1の条件は重要になる つまり単純な多数決で判断できないため、パーセプトロンでも各入力に対する重み（W）というパラメーターを導入している x1、x2、x3に対する重みをW1、W2、W3としたとき、資金が多い人なら（W1=5、W2=2、W3=3）と重みを設定すると考えられるし、 すでにパソコンが壊れている人なら（W1=7、W2=2、W3=1）と重みを設定すると考えられる そして、パソコンを購入するかどうかを検討するプログラムは、閾値をbとしたとき、以下のように表現できる このように重みや閾値を変化させることで、意思決定を明確化させることができる このパーセプトロンを複雑に組み合わせることで、より複雑な判断ができるようにする ■AI（人工知能）、機械学習、ディープラーニング（深層学習）の違い AI（人工知能）： マシンによって再現される人間の知能 人間と同様の知能を実現させようという取り組みやその技術 機械学習： 人工知能を実現するためのアプローチ 特定のタスクをトレーニングにより実行できるようになるAI。人が特徴を定義する ディープラーニング（深層学習）： 機械学習を実装するための手法 マシンが特徴を自動定義する 人工知能、機械学習、ディープラーニングの違いとは | NVIDIA https://blogs.nvidia.co.jp/2016/08/09/whats-difference-artificial-intelligence-machine-learning-deep... AI、機械学習、ディープラーニングの違いを説明できますか？機械学習と統計の違いは？ (1/3)：MarkeZine（マーケジン） https://markezine.jp/article/detail/29471 scikit-learn（サイキット・ラーン）は、Python向けの機械学習フレームワーク 様々なアルゴリズムに対応しており、すぐに機械学習を試せるようにサンプルデータも含まれている 機械学習でよく使われる他のライブラリ（PandasやNumPyなど）との親和性が高い BSDライセンスのオープンソースのため、無償で商用利用が可能 ■インストール 機械学習のライブラリ！scikit-learnとは【初心者向け】 | TechAcademyマガジン https://techacademy.jp/magazine/17375 使用すべきアルゴリズムについても、上記ページで紹介されている 以下のプログラムでは、中小規模のクラス分類手法である Linear SVC を使用している ■インストール時にエラー インストール時に以下のようなエラーになることがあった Python - pythonでscikit-learnがインストールできない｜teratail https://teratail.com/questions/223561 Pythonの新しいバージョンに対応できていない可能性があるので、バージョンを下げて試す このときはPython3.8で上記エラーになったが、Python3.7だとインストールできた ■AnacondaのCGI環境で動作しないので試行錯誤中 Anaconda Prompt では動作するが、コマンドプロンプトやCGIだとscikitを認識できない？ 以下の解説に習って「Add Anaconda to the system PATH environment variable」のチェックを外したが、それが問題になっているかも 【Python】非エンジニアWindowユーザー向けのAnacondaインストールの手順 https://tonari-it.com/python-anaconda-install/ 以下の記事では、チェックを入れるように案内されている Windows10でpythonを使う環境を作る?：AnacondaとPycharm - プロクラシスト https://www.procrasist.com/entry/2016/10/04/200000 チェックを入れて再インストールすると、コマンドプロンプトからは sklearn を呼び出せた …と思ったが、C:\Users\refirio\Anaconda3 の場所で実行するか否かによって違う？ コマンドプロンプトでもアナコンダプロンプトでも同じ？ ただしCGI経由だと以下のエラーになる Pythonのパスは #!/Users/refirio/Anaconda3/python から変える必要はないか 以下、試行錯誤 【Python】アナコンダプロンプトだけでなくコマンドプロンプトでもPythonを使えるようにする｜ぷんたむの悟りの書 https://punhundon-lifeshift.com/python_command_prompt anaconda 環境を設定しscikit-learnを実行する - Qiita https://qiita.com/KENOSIN/items/f9fef4da20cdd4489950 Pythonおよび機械学習勉強用のRaspberryPiの構築 - Qiita https://qiita.com/rhene/items/71b92c253d5ac2a4cc52 いったん諦めて、常に Raspberry Pi 環境で実行することにした ■Raspberry PiのCGI環境で動作しないので試行錯誤中 ■アヤメの分類 pandas/iris.csv at master - pandas-dev/pandas - GitHub https://github.com/pandas-dev/pandas/blob/master/pandas/tests/data/iris.csv GitHub - kujirahand/book-mlearn-gyomu: Book sample (AI Machine-learning Deep-learning) https://github.com/kujirahand/book-mlearn-gyomu 以下、勉強メモ train_test_split関数でデータ分割 - PyQ 1.0 ドキュメント https://docs.pyq.jp/python/machine_learning/tips/train_test_split.html iris.csv iris.py 以下のとおり実行 Index of /ml/machine-learning-databases/wine-quality https://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/ GitHub - kujirahand/book-mlearn-gyomu: Book sample (AI Machine-learning Deep-learning) https://github.com/kujirahand/book-mlearn-gyomu 以下のプログラムで学習＆評価できるが、正解率は6〜7割程度と低い 以下のプログラムで確認すると、品質データの数には大きく偏りがあることが判る （品質の大半は5〜7で、2以下と10は存在すらしていない） なお結果のグラフは wine-count-plt.png に出力されるが、出力できるようにあらかじめパーミッションを調整しておく 以下のように、品質を3段階に再分類する これにより、正解率は9割以上になる 1, 2, 3, 4 → 0（悪い） 5, 6, 7 → 1（普通） 8, 9, 10 → 2（良い） 気象庁|過去の気象データ・ダウンロード https://www.data.jma.go.jp/gmd/risk/obsdl/ 東京の10年分の平均気温を取得する 地点を選ぶ ... 東京 → 東京 項目を選ぶ ... 日別値 → 日平均気温 期間を選ぶ ... 2006年1月1日〜2016年12月31日 として「CSVファイルダウンロード」をクリック 余計な項目も含まれているので、以下のプログラムでデータを整形する 以下のプログラムで平均を表示できる 以下のようにすれば、よりかんたんに平均を求めることができる 以下のようにすれば、年ごとに30度超えの日数を表示できる 以下のようにすれば、過去6日の気温から翌日の気温を予測できる 各アルゴリズムの正解率を比較 ただし2021年2月現在、実行すると以下のエラーになる 以下をインストールしても変化なし 以下は以前のメモ クロスバリデーション 最適なパラメータを探す 利用されている文字コードが異なる言語を判定 利用されている文字コードが同じ言語を判定 あらかじめ以下のファイルを用意しておく de, en , es からはじまるファイルの内容は、それぞれドイツ語、英語、スペイン語の内容にしておく train/de_cat.txt train/de_dog.txt train/de_elephant.txt train/en_cat.txt train/en_dog.txt train/en_elephant.txt train/es_cat.txt train/es_dog.txt train/es_elephant.txt test/de_lion.txt test/en_lion.txt test/es_lion.txt ■手書きの数字画像を表示 datasets.load_digits() で手書き数字のデータを参照できる digits.images ... 画像データの配列 digits.target ... データがどの数字を表すかのラベル ■手書きの数字を学習＆判定 以下で学習させる 以下で判定させる 手書きの画像を number フォルダ内に 0.png 〜 9.png の名前で保存しておく ただし自分の手書き文字で試すと正解率は50%程度 ディープラーニングを用いた方法の方が制度が高くなるらしいので、引き続き要勉強 以下からスパムメールと通常メールを取得 GitHub - kujirahand/spam-database-ja: Spam database for Japanese https://github.com/kujirahand/spam-database-ja not-spam-sjis をもとに、以下の手順で文字コード変換をして not-spam-utf8 を作成する 複数ファイルのエンコードの変換 - EmEditor (テキストエディタ) https://jp.emeditor.com/text-editor-features/versatility/multiple-file-encoding-conversions/ 上記手順で作成した、「spam-utf8」「not-spam-utf8」以下を使用して進める 「spam-utf8」を「spam」として配置し、「not-spam-utf8」を「ok」として配置する また、以下のプログラムを作成する makedb_spamcheck.py train_spamcheck.py test_spamcheck.py 以下で単語頻出データ（spamcheck.pickle）を作成する 以下で学習済みモデル（spamcheck-model.pickle）を作成する 評価結果が良いものをモデルとして保存する 以下でスパムか否かをテスト プログラム実行時に以下のようなエラーになる場合、サンプルデータが0件もしくは読み込みに失敗している可能性がある データファイルが正しく配置されているか確認する TensorFlow（テンソルフロー）は物体認識の分野で圧倒的な性能を示すようになり、 今は画像・音声・自然言語処理など、さまざまな分野で活用されている TensorFlow https://www.tensorflow.org/ Googleがオープンソースで公開している機械学習ライブラリで、機械学習やディープラーニングを実践できる Gmailでの迷惑メール除去にも使われているらしい スパムはいらない ―― TensorFlow を使って Gmail から新たに 1 億以上のスパム メッセージを除去 | Google Cloud Blog https://cloud.google.com/blog/ja/products/gcp/ridding-gmail-of-100-million-more-spam-messages-with-t... ■テンソル ディープラーニングの数学「スカラー・ベクトル・行列・テンソル」とは？ | あぱーブログ https://blog.apar.jp/deep-learning/12121/ 「テンソル」「ベクトル」「行列」とは？ディープラーニングの情報整理のカラクリ 連載：図でわかる3分間AIキソ講座｜ビジネス+IT https://www.sbbit.jp/article/cont1/63580 ディープラーニングでは、複雑なニューラルネットワーク上で膨大な数の数値がやりとりされる コンピュータではこれらの数値を扱うことができるが、数値の羅列だと人間には理解しづらく、技術の応用や発展も難しい そこで使われるようになったのが「テンソル（Tensor）」という数学的概念 基本的には「たくさんの数値を集めて、1つの情報として表現する」のがテンソル スカラーは単なる数値 スカラーを縦もしくは横に並べたものをベクトルという スカラーを縦横に並べたものを行列という 上記も含めて、スカラーを縦横斜めなど複数に並べたものをまとめて「テンソル」と呼ぶ これはプログラムの配列をイメージすると解りやすい 0次元テンソル … 0次元の配列（スカラー） 1次元テンソル … 1次元の配列（ベクトル） 2次元テンソル … 2次元の配列（行列） 3次元テンソル … 3次元の配列 4次元テンソル … 4次元の配列 X次元テンソル … X次元の配列 例えば2次元の配列なら「行列」という呼び方があるが、3次元以上になると決まった呼び方がない よって「3次元のテンソル」や「3階のテンソル」などと呼ぶ TensorFlowでは、グラフを構成するすべてのものをテンソルとして扱う ■TensorFlowのインストール Raspberry Pi 4 4B-32GB の環境ではインストールできた Raspberry Pi 3 Model b+ の環境では以下のエラーになったが、「sudo pip3 install tensorflow」を3回目でインストールに成功した 以下で動作確認 Raspberry Pi 4 4B-32GB の環境では「import tensorflow as tf」を実行したときに以下の警告が表示されたが動作した Raspberry Pi 3 Model b+ の環境では「import tensorflow as tf」を実行したときに以下の警告が表示されたが動作した Pythonのバージョン次第で表示されないらしいが、いったんこのまま進める Raspberry PiにTensorFlowをインストールして基本的な分類サンプル実行まで試した - Qiita https://qiita.com/hidakanoko/items/5292ca79e3ff53867e40 RaspberryPiで機械学習TensorFlowセットアップ - Qiita https://qiita.com/totoshi/items/7eb690926eebafdb49ff Raspbian に公式対応した TensorFlow を入れてみたら警告が出たのでどうにかしてみたって話 - Qiita https://qiita.com/ktooi/items/48a8d18839cae7246c0b ■TensorFlowのインストール（CentOS7） 以下などを試したがインストールできず TensorFlow のインストール https://docs.vmware.com/jp/VMware-vSphere-Bitfusion/3.0/Example-Guide/GUID-1C053853-4D83-4D94-A6F3-D... 以下のエラーメッセージによると、「-std=gnu99」のオプションが問題になっているようだが対応方法が判らず -std=c99と-std=gnu99は同じ？ - bugfix https://pneumaster.hatenadiary.org/entry/20081224/p1 ■足し算を行う ■データフローログ プログラムを作成する プログラム実行後、tensorboard コマンドでデータフローグラフを表示できる Raspberry Pi にGUIでアクセスし、ブラウザを起動して以下にアクセスすると「TensorBoard」が表示された http://localhost:6006/ Raspberry Pi 3 Model b+ の環境では以下のエラーになって動作しなかった ■TensorFlowでアヤメの分類 TensorFlowでは、ラベルデータを「One-Hotベクトル」という形式で表す必要がある これは「1つだけHight(1)の状態で、他はLow(0)の状態であるようなビット列のことを指す」 iris.csv は「Pandas（データ解析支援）でアヤメの分類」で使用したものと同じ 以下のとおり実行する 「E tensorflow/core/platform/hadoop/hadoop_file_system.cc:132」のエラーが表示されているが、実行に問題は無いようなのでいったん無視しておく Pythonおよび機械学習勉強用のRaspberryPiの構築 (RaspberryPi4 & Buster版 (RaspberryPi3も可)) - Qiita https://qiita.com/rhene/items/d370a3b3f05a7248bd79 Raspberry Pi 4 で機械学習系のパッケージを入れる(numpy, scipy, pandas, sklearn, matplotlib, tensorflow, keras) - 工作と競馬2 https://dekuo-03.hatenablog.jp/entry/2020/02/01/000000_1 KerasはTensorFlowを簡単に使えるようにするためのライブラリだったが、使いやすかったのでTensorFlowに取り込まれた ■Kerasでアヤメの分類 モデル定義部分にある「Dense」というのは、全結合ニューラルネットワーク つまり「keras.layers.Dense」だけで1つのニューラルネットワークを表している 次の「keras.models.Sequential()」は、シーケンシャル（順番）にニューラルネットワークを追加するモデルを定義している 「Dense(10)」では、ユニット数が10個あるネットワークを作成している またこのモデルで最終的な出力は3次元なので、「Dense(3)」によって出力ユニット数を3次元にしている iris.csv は「Pandas（データ解析支援）でアヤメの分類」で使用したものと同じ 実行するとエラーになるようになっていたが、 kerasの読み込み部分を以下のようにすれば実行できた バージョンアップによって読み込み方法が変わったのかもしれない 以下で実行できた ■学習メモ book-mlearn-gyomu/tf-iris.py at master - kujirahand/book-mlearn-gyomu - GitHub https://github.com/kujirahand/book-mlearn-gyomu/blob/master/src/ch5/iris/tf-iris.py book-mlearn-gyomu/keras-iris.py at master - kujirahand/book-mlearn-gyomu - GitHub https://github.com/kujirahand/book-mlearn-gyomu/blob/master/src/ch5/iris/keras-iris.py 【Pythonステップアップ！】高階関数mapの便利な使い方 | 侍エンジニア塾ブログ（Samurai Blog） - プログラミング入門者向けサイト https://www.sejuku.net/blog/24759 Pythonのlambdaって分かりやすい - Qiita https://qiita.com/nagataaaas/items/531b1fc5ce42a791c7df ■MNISTデータの利用 MNISTのデータは、白黒画像の手書き数字のデータセット 学習用の画像に6万枚、テスト用の画像に1万枚もの画像が用意されている sklearnのデータセットに比べると、質も量も大きなデータセット 以下のようにしてインストールする 以下のようにして使用する 初回実行時は、以下からMNISTデータのダウンロードが行われる メモリ不足になるとダウンロードに失敗することがあるらしいので注意する https://s3.amazonaws.com/img-datasets/mnist.npz ■多層パーセプトロン（Multilayer perceptron）で画像認識 Raspberry Pi 3 Model b+ 環境では15分以上かかった Raspberry Pi 4 4B-32GB 環境では10分程度かかった また の処理を入れないと 部分で MemoryError のエラーになって処理が止まった ■学習結果の保存と読み込み 「学習を実行」の直後に以下の処理を記述すると、学習結果をファイルに保存できる またその後、「学習を実行」の処理の代わりに以下を記述すると、学習結果を読み込んで使用できる 学習には非常に時間がかかることがあるので、これにより処理時間を大幅に短縮できる ただし、Raspberry Pi 4 4B-32GB 環境では以下のエラーになった 【Keras】エラー 'str' object has no attribute 'decode'について - Qiita https://qiita.com/Hiroki-Fujimoto/items/b078bfb680fb710c38c1 Python 3.x - 【機械学習】学習済みkerasモデルのロードが出来ない｜teratail https://teratail.com/questions/306240 以下でh5pyをバージョン指定でインストールしてみる なお sudo でroot権限で実行しようとすると、「sudo: pip3.7: コマンドが見つかりません」のエラーになった これで、以下で実行できるようになった 最初以下でインストールしようとしたが、pip3.7 には影響しなかった（pip3 にのみ影響した） 一つの環境に複数のPythonのバージョンを同居させているための問題だと思われる ■畳み込みニューラルネットワーク（Convolutional Neural Network）で画像認識 深層学習（ディープラーニング）の原理、CNN、RNN、LSTM,GANを図解で解説 | TickTack World http://gagbot.net/machine-learning/ml4 Convolutional Neural Network（CNN）は画像認識で実績のあるニューラルネットワーク 以下のとおり実行 Python - Kerasのto_categoricalを使おうとすると、no attributeのエラーが出てしまう。｜teratail https://teratail.com/questions/277434 「学習結果を保存」の処理を有効にして学習結果を保存したあと、 「学習を実行」を「学習を実行」に変更すると、以下のように学習結果から処理を実行できる ★2021年2月にここまで再検証した ■CIFAR-10 CIFAR-10 and CIFAR-100 datasets https://www.cs.toronto.edu/~kriz/cifar.html 6万枚の画像にラベルを付けて公開しているサイト フルカラーだが、32px×32pxと小さなサイズの画像となっている ■CIFAR-10の画像を表示 プログラムをはじめて実行したとき、以下のように画像のダウンロードが行われる Downloading data from https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz 170500096/170498071 [==============================] - 107s 1us/step ■多層パーセプトロン（Multilayer perceptron）で画像認識 ■畳み込みニューラルネットワーク（Convolutional Neural Network）で画像認識 ■多層パーセプトロン（Multilayer perceptron）の学習結果から画像を判定 以下の結果になる ■畳み込みニューラルネットワーク（Convolutional Neural Network）の学習結果から画像を判定 以下のとおり実行 ■文字データベースのダウンロード etlcdb http://etlcdb.db.aist.go.jp/?lang=ja 画面上部の「DOWNLOAD」から利用申請できる 申請すると、すぐにメールアドレスにダウンロードリンクとパスワードが送られてくる 今回はダウンロードページから「ETL-1」をダウンロードする ダウンロードしたファイルを展開すると、「ETL-1」というフォルダの中に14個のファイルが作成される ■データベースを画像に変換 ■画像をリサイズしてバイナリにまとめる ■多層パーセプトロン（Multilayer perceptron）で学習 正解率= 0.6391304135322571 loss= 1.788340950012207 ※読み込む画像を100に制限しているので、正解率は低い ■畳み込みニューラルネットワーク（Convolutional Neural Network）で学習 正解率= 0.7630434632301331 loss= 0.9600743656573089 ※読み込む画像を100に制限しているので、正解率は低い それでも多層パーセプトロンよりは向上している ※読み込む画像は800まで耐えられた 800の画像をもとに判定すると、正解率は以下になった 正解率= 0.9686141014099121 loss= 0.12908870187871482 ■畳み込みニューラルネットワーク（Convolutional Neural Network）の学習結果から画像を判定 ■FlickrのAPIを使う ■Flickrから学習用の画像を取得する 実行すると images 内に画像が300個ずつ保存される ただし関係ない画像も保存されるので、手動で100個まで絞り込む 絞り込んだ画像は cleaned_images に保存するものとする ■画像Numpy形式に変換する 実行すると cleaned_images 内の画像をもとに photos.npz に保存される 実行すると photos.npz の内容をもとに output.png に画像が表示される idx が 0 ならショートケーキの画像、100 にするとサラダの画像、200 にすると麻婆豆腐の画像が表示される ■画像をもとに学習する 正解率= 0.800000011920929 loss= 0.5151064833005269 正解率を上げるため、回転と反転を行って水増し学習する 300枚での学習だったが5760枚での学習となる ただし学習にかかる時間は何倍にもなる 正解率= 0.9666666388511658 loss= 0.4047759254773458 ■オリジナル画像をもとに判定する test_cake.jpg は ショートケーキ で、カロリーは 344 kcalです。 可能性は 100 %です。 test_salad.jpg は サラダ で、カロリーは 81 kcalです。 可能性は 100 %です。 test_tofu.jpg は 麻婆豆腐 で、カロリーは 256 kcalです。 可能性は 97 %です。 ※未検証 以下で文章の分類を行っている まずはリンク先にある英語文章の分類から試したい Janomeも含めて試したい 日本語文章の分類ができるようになったら、実際のメールを元に「重要」「通常」「迷惑」などの分類を試したい Keras MLPの文章カテゴリー分類を日本語のデータセットでやってみる | cedro-blog http://cedro3.com/ai/keras-mlp-livedoor/ 数字画像の判定プログラムをベースに、バイナリデータを文章に差し替えれば文章認識に応用できるか …と思って以下をメモしたが、いったん上の方法を試す ただし「Kerasの使い方まとめ【入門者向け】」などは、試す内容に関わらず目を通しておきたい 【気温を予測してみよう！】機械学習の第一歩 | 底辺動物の雑記ブログ https://ashikapengin.com/2019/08/14/yosoku-kion/ Kerasのサンプルソースが何をやっているか読んでみる - It’s now or never https://inon29.hateblo.jp/entry/2017/06/23/183749 Kerasの使い方まとめ【入門者向け】 https://sinyblog.com/deaplearning/keras_how_to/ TensorFlowを使ってテキスト分類をしてみる。 - どん底から這い上がるまでの記録 https://www.pytry3g.com/entry/tensorflow_basic_text_classification 挑戦！ word2vecで自然言語処理（Keras＋TensorFlow使用）：ディープラーニング習得、次の一歩（1/2 ページ） - ＠IT https://www.atmarkit.co.jp/ait/articles/1801/30/news139.html PythonライブラリKerasを用いたAI(ディープラーニング)による文書分類とモデルの評価 | 知のマイニング https://software-data-mining.com/python%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AAkeras%E3%82%92%E... ■日本語処理 機械学習のための日本語前処理 - Qiita https://qiita.com/Qazma/items/0daf927e34d22617ddcd ■ディープラーニングで「娘が写っている」「娘が写っていない」「暗くて不明」を判定 定点撮影で撮りためたものから学習用データを作成する 2019年10月1日時点から、「娘が写っている」「娘が写っていない」「暗くて不明」を仕分けていく それぞれ100枚ずつ画像を用意する 10月16日くらいまででデータが揃った …が、実際に試すと正解率は6〜7割程度 チューニングでどの程度改善できるかは不明 ※未検証 【Python】PythonでGUI（デスクトップ）アプリを作ってみる@Windows - SEワンタンの独学備忘録 https://www.wantanblog.com/entry/2020/07/14/224611 Pythonでデスクトップアプリを作成する時に使えるライブラリ4選【アプリの配布方法も解説】 https://sync-g.co.jp/sjobs/python-desktop/ 【超入門】Pythonによるデスクトップアプリの作り方と配布方法｜エンジニアブログ https://engineer-life.dev/python-desktop-app/ ゼロからはじめるPython(46) Pythonでデスクトップアプリ作成入門 - Tkinterで肥満判定ツールを作ろう | TECH+（テックプラス） https://news.mynavi.jp/techplus/article/zeropython-46/ ■インストール http://refirio.org/view/358 2017年2月の時点で、この方法でPython+MySQLを動作させることができた（Bottleフレームワークは未検証） ただし今ならVer3でいいかも。 2018年なら、以下も参考にできそう 2018年のPythonプロジェクトのはじめかた - Qiita https://qiita.com/sl2/items/1e503952b9506a0539ea ■「import urllib」でエラー 「import urllib.request」となっている箇所を「import urllib」にして、 「urllib.request.urlretrieve」となっている箇所を「urllib.urlretrieve」にしたら何故か動いた。 Ver3から命令が整理されているらしい。 ■pip（Pythonのパッケージ管理システム） ■Beautiful Soup インストール HTMLの解析 簡単なクロール