【苦しみながら理解するDeepLearning】第5章 Machine Learning Basic

第5章…かなり苦しい…

一気に詰め込んできやがった…

今回から日本語を手に入れたので嬉しい!

深層学習は機械学習の一種である.深層学習をよく理解するためには,機械学習の基本原則をしっかり理解する必要がある.

らしいのでMachine Learningも抑えておきましょう!

プレモルもやはり読んだほうがいいのだろうか…

参考スライド

メモ

教師あり学習と教師なし学習

伝統的に, 回帰と分類, 構造出力の問題は教師あり学習である. 他のタスクに使われる密度推定は, 通常, 教師なし学習である と考えられている.

加えて半教師あり学習というのもあるらしい。

汎化誤差

機械学習が最適化と異なるのは, 汎化誤差(generalization error)(テスト 誤差( test error)とも呼ばれる)も小さくしたいという 点である.

機械学習の能力

機械学習アルゴリズムがどの程度うまく動作するかを決定する要素は, 以下に挙げる能力である. 訓練誤差を小さくする訓練誤差とテスト誤差の差を小さくする

正則化

ノーフリーランチ定理から, 最良の機械学習アルゴリズムは存在せず, 特に, 最良の正則化の形式は存在しないことが明らかである.

検証集合(validation set)

具体的には, 訓練データを2つの別々なセットに分割する. 分割されたセットの1つをパラメータの学習に使用し, 他方のセットを検証集合として訓練中または訓練後の汎化誤差の推定に使用して, それに応じてハイパーパラメータを更新できるようにする.
通常は, 訓練データの約80%を訓練に, 約20%を検証に用いる.

交差検証

これは課題で出されたから、理解しやすかったなぁ。

やはり、手を動かすことで理論の理解も深まるぜぃ!

確率変数

「確率変数」は、ある変数の値をとる確率が存在する変数のことです。 例えば、さいころを投げて出る目は{1, 2, 3, 4, 5, 6}のいずれかであり、それぞれの目が出る確率はであることから、さいころを投げて出る目は確率変数であると言えます。

確率的勾配降下法

ほとんどすべての深層学習は, 確率的勾配降下法( stochastic gradient descent, SGD) と呼ばれる非常に重要なアルゴリズムで動作している.

多様体学習

データが低次元の多様体に沿って存在しているという仮定は, つねに正確で有用であるとは限らない. 画像や音声, 文字の処理を伴うような人工知能タスクの観点では, 多様体の仮定は少なくともおおよそ正しいと言える.

機械学習では難しいと。

不明点

plim

確率の収束を示す

交差エントロピー

交差エントロピーの例と微分の計算

パラメトリックとノンパラメトリック

パラメトリックとは母数 (パラメーター) によることを意味し,ノンパラメトリックとは母数 (パラメーター) によらないことを意味する.

次章以降

Deep Learningの概念については他の本(青い深層学習とか)を読んだり、Udemyでやったりしてるので、一旦保留。

必要にかられたら読みます。それまで他のところを進める。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です