PPO Against LQR

The reason理由

PPO will fail to learn several times before step 5 is finished. Every time it does, the first question is algorithm or environment. That question is only cheap to answer if the environment was verified before any reinforcement learning existed. This one was.

step 5が終わるまでに、PPOは何度も学習に失敗します。そのたびに最初に問うのはアルゴリズムか、環境かです。 この問いに安く答えられるのは、強化学習を書く前に環境が検証済みだった場合だけです。この環境はそうしてあります。

The dynamicsダイナミクス

Barto, Sutton & Anderson (1983), appendix. θ is measured from upright; positive θ leans the pole toward +x.

Barto, Sutton & Anderson（1983）の付録に基づきます。θは鉛直上向きから測り、正のθでポールは+x方向に傾きます。

temp      = (F + m·l·θ̇²·sin θ) / (M + m)
θ̈         = (g·sin θ − cos θ · temp) / (l·(4/3 − m·cos²θ/(M+m)))
ẍ         = temp − m·l·θ̈·cos θ / (M + m)

Two conventions hide inside those three lines and both are classic bug sources. l = 0.5 is the half-length, not the full pole length. And the 4/3 is 1 + I_cm/(m·l²) for a uniform rod, whose moment of inertia about its own centre is m(2l)²/12 = m·l²/3. Getting the half-length convention wrong is the most common bug in a hand-written cart-pole, so one check exists purely to catch it.

この3行には2つの規約が隠れており、どちらも典型的なバグの原因です。l = 0.5はポール全長ではなく半分の長さです。 また4/3は一様な棒に対する1 + I_cm/(m·l²)で、棒自身の重心まわりの慣性モーメントは m(2l)²/12 = m·l²/3です。半長の規約を間違えるのは自作cart-poleで最も多いバグなので、これを検出するためだけの検証を1つ用意しています。

Three decisions worth arguing with議論の余地がある3つの判断

Complete list of deviations from the standard CartPole-v1: observations are float64 not float32; stepping a finished episode raises rather than warning; the two done flags are never merged. Everything else — constants, equations, integrator and its ordering, initial distribution, thresholds, reward, 500-step cap — matches.

標準のCartPole-v1との相違点は次がすべてです。observationがfloat32ではなくfloat64であること、終了済みepisodeのstepは警告ではなく例外になること、 2つのdoneフラグを統合しないこと。それ以外（定数、式、積分器とその順序、初期分布、閾値、reward、500ステップの上限）はすべて一致しています。

What LQR isLQRとは

Linear-Quadratic Regulator. If a system is linear and the cost you want to minimise is quadratic, the optimal controller is a matrix multiplication: u = −Kx. The gain K is computed from the model, not learned from data. Cart-pole is not linear, but near upright it is close enough — so linearise, solve, and use the result.

Linear-Quadratic Regulatorの略です。システムが線形で、最小化したいコストが二次形式なら、最適制御器は行列の掛け算u = −Kxになります。 ゲインKはデータから学習するのではなく、モデルから計算します。cart-poleは線形ではありませんが、倒立点付近では十分に線形に近いため、 線形化して解き、その結果を使います。

Linearising線形化

Dropping second-order terms about the origin, with D = l(4/3 − m/M):

原点まわりで2次以上の項を落とし、D = l(4/3 − m/M)とすると次のようになります。

θ̈ = (g/D)·θ − (1/(M·D))·F
ẍ = F/M − (m·l/M)·θ̈

Ac[3,2] = g/D = 15.7756 s⁻², and √15.7756 = 3.9719 s⁻¹ is the growth rate of the free cart-pole — slightly faster than the pinned-cart 3.834058 s⁻¹ measured in step 1, because a free cart lets the base slide out from under the pole. Two related numbers, both derivable, both matching.

Ac[3,2] = g/D = 15.7756 s⁻²であり、√15.7756 = 3.9719 s⁻¹が台車が自由なcart-poleの発散率です。 step 1で計測した台車固定時の3.834058 s⁻¹よりわずかに速いのは、台車が自由だとポールの根元が下から滑り出てしまうためです。 関連する2つの数値が、どちらも導出可能で、どちらも一致しています。

Discretisation is exact here — and that is the payoff for step 1's integrator choiceここでは離散化が厳密 — step 1の積分器選択が効いてくる

Every acceleration in euler_step() is evaluated at the old state, so the plant genuinely is s' = s + τ·f(s,u) and therefore

euler_step()内の加速度はすべて更新前の状態で評価されるため、プラントはまさにs' = s + τ·f(s,u)であり、したがって

Ad = I + τ·Ac        Bd = τ·Bc

with no approximation at all. A semi-implicit or exact zero-order-hold plant would need a matrix exponential here. It was verified against a finite-difference Jacobian of the actual step function anyway: max absolute difference 7.57e−14.

となり、近似は一切ありません。半陰的、あるいは厳密なゼロ次ホールドのプラントであれば、ここで行列指数関数が必要になります。 念のため実際のstep関数の有限差分Jacobianとも照合しました。最大絶対差は7.57e−14です。

Riccati by iteration, not by library callRiccatiはライブラリではなく反復で解く

P_{k+1} = Q + Adᵀ P_k Ad − Adᵀ P_k Bd (R + Bdᵀ P_k Bd)⁻¹ Bdᵀ P_k Ad,   P₀ = Q
K       = (R + Bdᵀ P Bd)⁻¹ Bdᵀ P Ad,      u = −Kx

P_k is the cost-to-go matrix with k steps of horizon remaining, so this is literally value iteration for a quadratic value function. It is the same object PPO's critic estimates by regression — the difference is that here it can be computed exactly, which is the whole reason to write the recursion out longhand.

P_kは残りホライズンがkステップのときのcost-to-go行列なので、これは文字どおり二次形式の価値関数に対するvalue iterationです。 PPOのcriticが回帰で推定しているものと同じ対象です。違いは、ここでは厳密に計算できることであり、漸化式を手で書き下す理由はまさにそこにあります。

Converged in 866 sweeps / 22 ms. The theory says the convergence rate is ρ(Ad−BdK)² = 0.96810 per sweep, predicting about 923 sweeps to reach 1e−13 relative. Measured 866. That agreement is the check that the recursion is the textbook one and not something that merely happens to converge.

866回の反復・22 msで収束しました。理論上の収束率は1反復あたりρ(Ad−BdK)² = 0.96810で、 相対誤差1e−13に達するまで約923回と予測されます。実測は866回です。この一致が、漸化式が教科書どおりのものであり、 たまたま収束しただけの別物ではないことの確認になります。

K = [−0.910126, −2.132488, −30.594563, −7.841506]
ρ(Ad − Bd·K) = 0.983919

Bridging a continuous controller to two discrete actions連続値の制御器を2つの離散actionにつなぐ

The environment offers ±10 N. LQR returns a real number. The bridge is a design decision, not a detail:

環境が受け付けるのは±10 Nで、LQRが返すのは実数です。この橋渡しは細部ではなく設計判断です。

action = 1 if −Kx > 0 else 0

Bang-bang control with an LQR-derived switching surface. Only the sign of −Kx reaches the plant, so the policy is invariant to any positive rescaling of K, and therefore to scaling the whole cost — which is exactly what check L6 confirms.

LQRから導いた切替面を持つbang-bang制御です。プラントに届くのは−Kxの符号だけなので、policyはKの正のスケーリングに対して不変であり、 したがってコスト全体のスケーリングにも不変です。検証L6が確認しているのはまさにこの点です。

Return is a saturating metric — measured, not assertedreturnは飽和する指標 — 主張ではなく計測

An early claim in the repository was that the cost weight R cannot matter because it only rescales K. That is false — the Riccati equation is not linear in R — and sweeping R from 0.01 to 100 rotates the normalised gain direction by 0.130. The check caught it. The interesting part is what happened next: that rotation moved the measured return by 0.0. Every one of those controllers scores 500.0.

リポジトリの初期には「コスト重みRはKをスケーリングするだけなので影響しない」という主張がありました。 これは誤りです。Riccati方程式はRについて線形ではなく、Rを0.01から100までスイープすると正規化したゲインの向きが0.130回転します。 検証がこれを見つけました。興味深いのはその先で、この回転による計測returnの変化は0.0でした。どの制御器も500.0を出します。

So return cannot rank controllers on this task once they are all merely good enough. Steps 4 and 5 therefore rank on steps-to-threshold, and this repository does not contain a single reward curve.

つまりこのタスクでは、どの制御器も一定以上の性能になった時点で、returnでは順位を付けられません。 そのためstep 4と5は閾値到達ステップ数で順位を付けており、このリポジトリにはreward曲線が1本もありません。

What can tell controllers apart is the basin — how large a disturbance they can recover from — found by bisecting on the initial state one axis at a time:

制御器を区別できるのはbasin、つまりどれだけ大きな外乱から復帰できるかです。初期状態を1軸ずつ二分探索して求めます。

Bang-bang has the larger basin than the same law with a proportional actuator of equal strength. Not a paradox: recovering from a large disturbance is a time-optimal problem, and the time-optimal solution to a bounded-input problem is bang-bang. The linear law under-commands near the edge because it is minimising a quadratic cost, not maximising survival. Angle finds nothing — every angle inside the termination limit is recoverable, which is why the sweep runs on velocity.

同じ制御則を同じ強さの比例アクチュエータで動かした場合よりも、bang-bangの方がbasinは広くなります。 これは矛盾ではありません。大きな外乱からの復帰は時間最適問題であり、入力に上限がある問題の時間最適解こそbang-bangだからです。 線形の制御則は生存の最大化ではなく二次コストの最小化をしているため、境界付近で指令が不足します。角度では差が出ません。 終了判定の限界内の角度はすべて復帰可能なので、スイープは速度で行っています。

The four ingredients4つの要素

PPO is policy gradient plus four specific additions. Each is written longhand here, and each can be switched off from the command line — which is what step 5 measures.

PPOはpolicy gradientに4つの特定の追加要素を加えたものです。ここではそれぞれを手で書き下しており、 いずれもコマンドラインからOFFにできます。step 5で計測するのはまさにこの点です。

Architecture: separate 64-64 tanh actor and critic trunks, orthogonal initialisation (gain √2, 0.01 on the policy head, 1.0 on the value head), Adam with eps = 1e−5, linear learning-rate anneal, gradient-norm clipping at 0.5, and 8 environments × 128 steps = 1024-step batches.

構成：独立した64-64 tanhのactorとcritic、直交初期化（ゲイン√2、policy headは0.01、value headは1.0）、eps = 1e−5のAdam、 学習率の線形減衰、勾配ノルムのclip 0.5、8環境 × 128ステップ = 1024ステップのバッチ。

The truncation bootstrap — what step 1 was fortruncation時のbootstrap — step 1の意味

At the 500-step cap the pole has not fallen. The episode was cut by the clock. Bootstrapping V(s_final) there is correct; treating it as terminal teaches the critic that surviving 500 steps is worth zero future return. That is the single most common silent bug in a hand-written PPO, and it is only avoidable here because step 1 refused to merge the two done flags.

500ステップの上限では、ポールは倒れていません。episodeは時間で打ち切られただけです。 そこでV(s_final)をbootstrapするのが正解で、終端として扱うと「500ステップ生き延びることの将来returnはゼロ」とcriticに教えてしまいます。 これは自作PPOで最も多い、表に出ないバグです。ここで回避できるのは、step 1で2つのdoneフラグの統合を拒否したからにほかなりません。

Implemented by folding the bootstrap into the reward of the truncated step, r_t += γ·V(s_final), and then treating that step as an episode boundary for GAE — which it is, since the next observation comes from a fresh reset.

実装では、bootstrapをtruncatedステップのrewardにr_t += γ·V(s_final)として組み込み、そのステップをGAE上のepisode境界として扱います。 次のobservationは新たなリセットから得られるので、実際に境界です。

Cost, and a prediction confirmedコストと、確認された予測

Step 1 predicted the environment would not be the bottleneck — 374 k steps/s standalone against 13 k inside training. Confirmed: the environment is about 3 % of the wall clock. The vectorised rewrite was never needed and was never written.

step 1では、環境はボトルネックにならないと予測していました（単体で374 k steps/s、学習中は13 k）。結果はそのとおりで、 環境が占めるのは実時間の約3 %です。ベクトル化した書き直しは不要で、実装もしていません。

Both controllers score 500.0/500. Step 2 already showed return saturates and cannot rank anything competent, so the comparison runs on the basin instead — the same bisection and the same widened initial-condition sweep, same plant, same termination test, LQR against all sixteen trained checkpoints.

どちらの制御器も500.0/500です。step 2で示したとおりreturnは飽和しており、一定以上の性能の制御器には順位を付けられません。 そこで比較はbasinで行います。同じ二分探索、同じく初期条件を広げたスイープ、同じプラント、同じ終了判定で、LQRと学習済みcheckpoint 16個すべてを比べます。

Two things change from steps 1–5 at once — the physics engine and the action space — so both are pinned down separately before anything is concluded.

step 1–5から物理エンジンとaction空間の2つが同時に変わるため、結論を出す前にそれぞれを個別に確定させます。

The plant is identical, verified to 1.4e−14プラントは同一 — 1.4e−14で検証

cartpole_mj.xml sets the inertias by hand rather than letting MuJoCo derive them from a geometry primitive. A capsule adds hemispherical caps and a cylinder adds a 3r²/12 term; the 4/3 in the numpy plant is exactly the uniform-thin-rod assumption. Deriving inertia from the geometry would have made the two plants nearly the same object, which is the worst possible state to be in.

cartpole_mj.xmlでは、MuJoCoに形状プリミティブから慣性を導出させず、手で設定しています。capsuleなら半球の端部が加わり、 cylinderなら3r²/12の項が加わりますが、numpy版プラントの4/3はまさに一様な細い棒の仮定です。 形状から慣性を導出すると2つのプラントはほぼ同じものになってしまい、それが考えうる最悪の状態です。

Check V1 compares MuJoCo's qacc against the numpy accelerations over 5000 random states: max absolute difference 1.42e−14. The two simulators describe the same rigid body. Anything that differs from here on is the integrator or the action space, and cannot be blamed on the model.

検証V1では、ランダムな5000状態についてMuJoCoのqaccをnumpyの加速度と比較し、最大絶対差は1.42e−14でした。 2つのシミュレータは同じ剛体を記述しています。ここから先に生じる差は積分器かaction空間によるもので、モデルのせいにはできません。

The Gaussian policy, and a bias that is reported rather than hiddenGaussian policyと、隠さずに報告するバイアス

Only the head changes: Categorical(logits) becomes Normal(μ(s), exp(log σ)) with log σ a free parameter, log-probability summed over action dimensions, and Gaussian differential entropy. The entropy coefficient defaults to 0.0 here against 0.01 in the discrete version, because Gaussian differential entropy is unbounded below and can go negative, so an entropy bonus pushes σ up with no floor — the same coefficient does not mean the same thing in the two files.

変わるのは出力層（head）だけです。Categorical(logits)がNormal(μ(s), exp(log σ))になり、log σは自由パラメータ、 対数確率はaction次元で総和を取り、エントロピーはGaussianの微分エントロピーを使います。エントロピー係数のデフォルトは離散版の0.01に対しここでは0.0です。 Gaussianの微分エントロピーは下に有界でなく負にもなりうるため、エントロピーボーナスはσを下限なしに押し上げてしまうからです。 同じ係数でも、2つのファイルでは意味が異なります。

The search table makes the case for why initialising σ matters on a bounded action space. At init_log_std = 0, σ = 1 on a ±1 action range means 37 % of sampled actions are outside the actuator range — the policy spends most of its probability mass on actions the plant cannot execute, and it costs roughly 50 % more environment steps. The adopted setting, −1.0, ends at σ = 0.133 with 0.5 % saturation.

探索結果の表は、有界なaction空間でσの初期化が重要である理由を示しています。init_log_std = 0では±1のaction範囲に対してσ = 1となり、 サンプルしたactionの37 %がアクチュエータの範囲外になります。policyは確率質量の大半をプラントが実行できないactionに費やし、 環境ステップが約50 %余分にかかります。採用した設定−1.0では、最終的にσ = 0.133、飽和率0.5 %です。

• No real exploration problem. Cart-pole rewards every timestep and a random policy already scores 22. The ablation ordering would very likely change on a sparse-reward task.
• The ablations are one-at-a-time. Interactions were not measured.
• One hyperparameter configuration was searched over eight candidates on four seeds. A different configuration could change the ablation magnitudes — though the clipping result is large enough that it is unlikely to flip.
• no_clip failing is measured at this learning rate and epoch count. Clipping matters because of the ten epochs; at one epoch it would matter much less.
• The basin comparison uses the greedy policy. The stochastic policy used during training has a different, smaller basin.
• Step 6 changes the action space, not the task. The plant, the reward and the horizon are the same, so it tests whether the conclusion is an artefact of the categorical head — not whether it holds anywhere else.

• 本当の意味での探索問題がない。cart-poleは毎タイムステップrewardを与え、ランダムpolicyでも既に22点を取ります。 sparse rewardのタスクでは、ablationの順位はおそらく変わります。
• ablationは1つずつ。要素間の相互作用は計測していません。
• ハイパーパラメータ設定は1つで、4 seed・8候補から探索したものです。別の設定ではablationの大きさが変わる可能性があります。 ただしclipの結果は十分に大きいため、逆転する可能性は低いと考えます。
• no_clipの失敗はこの学習率とepoch数で計測したもの。clipが重要なのは10 epochだからで、1 epochなら影響はずっと小さくなります。
• basinの比較はgreedy policyで行っている。学習中に使う確率的policyのbasinは別物で、より狭くなります。
• step 6で変わるのはaction空間であり、タスクではない。プラント、reward、ホライズンは同じなので、 検証しているのは結論がcategorical headによる見かけの効果かどうかであって、他の条件でも成り立つかどうかではありません。