【苦しみながら理解する深層学習】第4章 Numerical Computation

第4章です。

参考スライド

不明点

メモ

The function we want to minimize or maximize is called the objective func-tion, orcriterion. When we are minimizing it, we may also call it thecostfunction,loss function, orerror function. In this book, we use these termsinterchangeably, though some machine learning publications assign special meaningto some of these terms.

objective function、criterion、cost function、loss function、error functionは全部同じ意味合い。

directional derivative

方向微分

Jacobian matrix and Hessian matrix

ここが非常にまとまっていて良い！

Taylor series

テイラー展開

めちゃくちゃわかりやすい…

second derivative

二次導関数

saddle point

鞍点

鞍点（あんてん、saddle point）は、多変数実関数の変域の中で、ある方向で見れば極大値だが別の方向で見れば極小値となる点である。

Lipschitz continuous

リプシッツ連続

ここが非常にわかりやすかった。

YouTubeは難しかった…

tangent space

接ベクトル空間または接空間

多様体上の各点で定義されるベクトル空間であり、その点における全ての接ベクトルの集合である。

Karush–Kuhn–Tucker(KKT) approach

カルーシュ・クーン・タッカー条件

普通にラグランジュとか使って解く手法のことらしいので、恐れることはないぜ。

非線形計画において一階導関数が満たすべき最適条件を指す。

数学の学び方

まず、わからない単語が出たらググって日本語で何というか調べる。

その単語をYouTubeで検索するとわかりやすい動画がたくさん…しゅごい…ありがとう…

一方で、ここまで英語で頑張ってきましたが、日本語のkindle版を買いました！

運良く、8月27日発売なので、期待してます！

追記：日本語すごくいい…倍速ぐらいのスピードで読める…