【苦しみながら理解する深層学習】Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images

(読む)

どんなもの?

畳み込み層のあるDNNモデルは簡単に未知の分類対象に対して、既知の誤ったクラスに分類してしまう。
意味がわからない画像を適当にラベル付けして、しかも信頼度が高いと判定する。

fig1

先行研究と比べてどこがすごい?

たぶん、画像の作り方?もしくはDNNを騙すことを誰もやっていなかったのかもしれない。

False Positiveが多いのはAlexNetなので、AlexNetで学習済みのモデルをつかう。(学習データはILSVRC 2012 ImageNet dataset
テストのためにLenetでも試した。(学習データはMNIST

今回検証するための画像はevolutionary algorithms(EAs)で作る。
画像を生成するために最適化のアルゴリズムを使っている。

fig2

ただ、多クラス分類に対してはMAP-Elitesの方が良い結果がでるのでこちらを使う。

The MAP-Elites algorithm searches in a high-dimensional space to find the highest-performing solution at each point in a low-dimensional feature space, where the user gets to choose dimensions of variation of interest that define the low dimensional space.

出典

技術や手法のキモはどこ?

direct encodingindirect encodingの2種類のencodingの方法で画像は生成している。

direct encodingは、10%の確率でノイズを入れる。
pixelに対して0~255の間で一様分布のノイズ。
そして、1000pixel毎にノイズを入れる確率を下げていく。

indirect encodingでは、画像の情報を左右対称や、繰り返しなどの加工をする。
ここではcompositional pattern-producing network(CPPN)を使っている。(元画像に似せたノイズが作れるらしい。ここについてはrefを読むべきか)

CPPNで加工すればこうなる。
fig3

どうやって有効だと検証した?

MNIST

fig4

MNISTで学習したDNNではfig4(direct encoding)を99%の信頼度で数字と判定した。

ただのノイズではなくちょっと原型が残っているindirect encodingも試したが同じ結果となった。

fig5

EAで手書きの数字画像と同じ特徴をもった画像を生成することができること示唆していた。

ImageNet

direct encodingでは信頼度のmedianは21.59%だった。
一方で、fig1の画像は信頼度が99%以上だった。

fig6

indirect encodingでは5000枚作った場合の信頼度のmedianは88.11%となった。
結果が悪いところは犬と猫のカテゴリーで理由はImageNetに犬と猫のカテゴリーが多すぎることが問題である。(犬ならチワワとか柴犬とかいろんな種類があるという意味)

fig7

fig2のevolutionary algorithmを5回適応した。
なんとなく原型残っている。

fig8

CPPN-encodingで新しい画像を作って規則的にリピートを入れて、removeするようにした。
これでもクラス分類されて、しかも信頼度は高い。

fig10

DNN

ここで気になってくるのが、1つのDNNを騙すことができたら他のDNNも騙されるのかということである。

DNNをMNISTやImageNetをデータセットで学習すると、騙しの画像だとわからずに適当なclassに分類してしまう。

しかし、一度学習した後に、騙しの画像を学習すると、騙しの画像classに分類できるようになるのでないかという検証をする。

MNISTではうまくいかない。

fig11

ImageNetではうまくいった。
こっちはDNNの更新は1回だけ(DNN1とDNN2)

fig12

gradient ascentを使って加工した画像で試してみる。
そうすると、何かわからない画像でも高い信頼度で分類してしまうことがわかった。

fig13

議論はある?

加工前の画像と似ている加工後の画像に対する分類はうまくいったが、全く認識できない画像に対しては分類がうまくいかない(間違ってしまった)。
仮説としては、画像の分類と生成のモデルが異なることである。
その結果、高次元の入力空間の場合は分類されるエリアが大きくなるのではないか。

fig14

次に読むべき論文は?

これとは関係なく読みたいものがある。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です