【苦しみながら理解するDeepLearning】第3章 Probability and Information Theory

第3章です。

参考スライド

もうスライドがあれば読まなくてもいいんじゃないかこの辺りは。

その他

参考ペーパー

TRUTH AND PROBABILITY

Shanon entropy

不確実性の評価に利用されるentropyの部分では、Shanon entropyだけに限らず、x ~ Pの期待値みたいな式がある。

式3.49

xは実際にとった値で、Pは分散だから、それぞれと期待値という解釈でいいのだろうか…

~というのが気になるが…

この記事を読むに、

位置 i に出現する塩基 X の出現確率を pi(X) とすると、位置 i の情報エントロピー Hi は次のように計算できる。

とあるから、分散Pにおけるxの期待値ということか。

構造化確率モデル(グラフィカルモデル)

が難しい…

ので以下のスライドを参考にする。

特に有向、無向があまり理解できていない。

φ

グラフ理論のφ(ファイ)に関しては、ココが参考になる。

暗記すべき式達

暗記すべき式達

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です