【苦しみながら理解するDeepLearning】Sim-to-Real: Learning Agile Locomotion For Quadruped Robots

DeepX AI Blogというすごく良いサイトを見つけてしまった!

こちらです!全体感がわかって非常に有り難い!

ここから論文をピックアップして読んでいきたい…

分野としては、深層強化学習、転移学習、メタラーニング、階層型強化学習、カリキュラム生成、模倣学習などです。(メモ)

メタラーニングとかかなりすごい…

この記事で紹介されていたのは、以下のような論文です。

苦しむかぁ…

論文

サイトに載っていた論文たち。

どんなもの?

深層強化学習を使って四足のロボットを自動歩行制御する。

先行研究と比べてどこがすごい?

従来は、シミュレーションで学習させたモデルを実機で使う際に修正が必要だったが、不要になった。

技術や手法のキモはどこ?

歩行学習

  • 観察空間でデータの取捨選択をし、行動空間にleg spaceを使った
  • 速い移動スピードを推奨し、エネルギー消費にペナルティを与える報酬設定
  • 人間によるパラメータ調整

シミュレーターと実機の差の縮小

  • シミュレーターのアクチュエーターモデルとレイテンシハンドリングを拡張した。

正確なコントローラーの作成

以下の対応で実現した。
* ダイナミックパラメータのランダム化
* ランダムの摂動を加える
* コンパクトな観察空間

どうやって有効だと検証した?

速歩と駈歩(trotting and galloping)の実機で検証。

議論はある?

特になし。

次に読むべき論文は?

deep RLと、ロボットへの応用の理解をしたいが…

一通りサイトに載っていた論文を読もう。

その他

実機について

  • ロボットにはGhost RoboticsのMinitaurを使用

Minitaur

  • ハードウェアのアーキテクチャ

アーキテクチャ

  • シミュレーションの作成にはPyBulletを使った。(PyBulletはBullet Physics Engineのpythonモジュール)

Bullet

###オイラー角

論文では、ロール、ピッチ、それらの角速度、8つのモーターのアングルで観察していた。。

これらはオイラー角というらしい。

ロール、ピッチ、ヨー

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です