One Arm, Three Ways to Learn It1本のアームを、3通りの方法で学習させる

Four tasks, one rule each4つのタスクと、それぞれ1つの成功条件

Control runs at 20 Hz; each control step is 25 physics steps of 2 ms. Episodes end on success or on the step limit, and the two are reported separately because a value estimate has to bootstrap on one and not the other.

制御周期は20 Hzで、1制御ステップは2 msの物理ステップ25回分です。 Episodeは成功またはstep上限で終了します。価値推定は一方ではbootstrapが必要で、もう一方では不要なため、2つは区別して報告します。

The "both jaws touching" clause exists because a cube flung upward otherwise counts as lifted.

「両方のジョーが接触」という条件がないと、上に弾き飛ばされたキューブも持ち上げ成功と判定されてしまいます。

Two observation layouts2種類のobservation構成

Actions are 6-d either way: delta in [−1, 1] added to the previous joint target, or absolute joint targets in radians, which is what a recorded dataset stores and what the physical arm takes.

Actionはどちらの場合も6次元です。前回の関節目標値に加算する[−1, 1]のdeltaか、 ラジアン単位のabsolute関節目標値のいずれかです。後者は記録したデータセットが保存する形式であり、実機アームが受け取る形式でもあります。

Where the cubes may appear, and why the box is smallキューブの出現範囲と、それが狭い理由

The fingertip can reach almost anywhere within 0.4 m. Pointing the gripper straight down cannot, because that spends the wrist pitch. tools/reach_map.py maps where a top-down grasp is solvable to 3 mm at the height the lift task has to hold the cube (about 9 cm), and the spawn box, x in ±0.10 m and y in −0.26 to −0.16 m, sits inside that region. The lift height of 5 cm was set from the same map.

指先だけなら0.4 m以内のほぼどこにでも届きます。しかしグリッパーを真下に向けると手首のピッチを使い切るため、届く範囲は狭まります。 tools/reach_map.pyは、liftタスクでキューブを保持する高さ（約9 cm）で、真上からの把持が3 mm精度で解ける領域をマップ化します。 出現範囲（xが±0.10 m、yが−0.26〜−0.16 m）はその領域の内側にあります。持ち上げ高さの5 cmも同じマップから決めました。

Domain randomisation and the held-out cellsDomain randomisationとheld-outセル

Two things are defined here and kept apart. DRConfig is what a training run samples at every reset. EVAL_PHYSICS is a fixed set of shifts a trained policy is tested on, and a test asserts that every cell is outside the DR range in at least one factor.

ここでは2つのものを定義し、明確に分けています。DRConfigは、学習時にリセットのたびにサンプリングする範囲です。 EVAL_PHYSICSは、学習済みpolicyをテストする固定の変化セットです。どのセルも少なくとも1つの要素でDR範囲外にあることを、テストで確認しています。

Scaling kp scales the position actuator's gain and position bias together and leaves the velocity feedback alone, so a weaker motor is also a more damped one. That is what a weaker motor does, and it is a documented choice rather than a side effect.

kpのスケーリングでは、位置アクチュエータのゲインと位置バイアスを同時にスケールし、速度フィードバックはそのままにします。 そのため弱いモーターは、より減衰の強いモーターにもなります。これは実際の弱いモーターの挙動であり、副作用ではなく意図して文書化した選択です。

The scripted expert, and two things a first draft got wrongスクリプト化したエキスパートと、初版で誤っていた2点

The expert reads the cube's true pose from the simulator and moves through IK waypoints, rate limited to 0.05 rad per step so the actions are smooth enough to learn from. It is a demonstrator and a reference, not a controller the real arm could run. Two problems had to be solved before it worked.

エキスパートはシミュレーターからキューブの真の姿勢を読み取り、IKのウェイポイントを順にたどります。 学習に使えるほど滑らかなactionにするため、変化量は1 stepあたり0.05 radに制限しています。 これはデモンストレーターかつ基準であり、実機アームで動かせるコントローラーではありません。動作させるまでに2つの問題を解決する必要がありました。

The expert's own numbersエキスパート自身の成功率

100 episodes × 5 seeds per cell, mean ± standard deviation of the per-seed success rate. This is the ceiling every learned policy is read against.

1セルあたり100 episode × 5 seedで、seedごとの成功率の平均 ± 標準偏差です。学習したすべてのpolicyは、この上限と比較して評価します。

The small cube is the expert's real weakness: lift and pick_place fall from 0.93 to 0.73 and 0.72. No other physics change moves them by more than 0.08. Push stays at 0.73 to 0.79 in every column, and its seed spread is as large as any column's gap from nominal, so the limit is the scripted push itself. The one-seed, 30-episode development readings put the small cube at 0.87 and 0.80. The measured spread shows why they were never the reference.

エキスパートの本当の弱点は小さいキューブです。liftとpick_placeは0.93から0.73と0.72に下がります。 他の物理条件の変化では、どちらも0.08を超えて動きません。pushはどの列でも0.73〜0.79にとどまり、seed間のばらつきがnominalとの差と同程度あるため、 限界はスクリプト化したpush動作そのものにあります。開発時に1 seed・30 episodeで取った値では、小さいキューブは0.87と0.80でした。 計測したばらつきを見れば、それらを基準値にしなかった理由がわかります。

ThroughputThroughputの計測

Lift task on the laptop CPU under WSL2, capped at 8 threads. Mean ± sd over three sweeps that passed the drift guard:

ノートPCのCPU（WSL2、8スレッドに制限）でliftタスクを実行。ドリフト検査を通過した3回のスイープの平均 ± 標準偏差です。

The first three sweeps drifted 25 to 58% and were thrown out. On the Windows "Balanced" power plan the CPU starts at a low clock, so the first reference read low and every later row looked faster. A 10 s, 8-process warm-up before the sweep fixed it. The sweep rows are 15 s bursts. Held for three minutes, 8 processes settle at 5,361 env-steps/s, 28% below the first window. That plateau, not the burst, is the number to budget training from.

最初の3回のスイープは25〜58%ドリフトしたため破棄しました。Windowsの電源プラン「バランス」ではCPUが低クロックから立ち上がるため、 最初の基準値が低く出て、後続の行がすべて速く見えていました。スイープ前に8プロセスで10秒間のウォームアップを入れることで解決しました。 スイープの各行は15秒間のバースト値です。3分間継続すると、8プロセスは5,361 env-steps/sに落ち着き、最初の区間より28%低くなります。 学習時間の見積もりに使うべきなのは、バースト値ではなくこの定常値です。

The RL project asks two measured questions, not one. Does training under randomised physics buy success on physics outside the randomised range? And does a curriculum that starts with reaching buy anything on the lifting task it is meant to help?

RLプロジェクトでは、1つではなく2つの問いを計測で確かめます。物理パラメータをランダム化して学習すると、ランダム化範囲外の物理条件でも成功できるのか。 そして、リーチから始めるcurriculumは、本来助けるはずの持ち上げタスクに何らかの効果をもたらすのか、です。

The algorithm, and two places it departs from a textbook PPOアルゴリズムと、教科書的なPPOとの2つの違い

The loop is the clipped-surrogate PPO from the author's earlier from-scratch implementation: GAE, orthogonal initialisation, separate actor and critic of two 256-unit tanh layers, learning-rate annealing, 8 forked environments with 128 steps each per update. Two things the cart-pole never forced appear here.

学習ループは、筆者が以前ゼロから実装したclipped-surrogate型のPPOです。GAE、直交初期化、256ユニット・tanh 2層の独立したactorとcritic、 学習率のアニーリング、更新ごとに8つのfork環境で各128 stepを収集します。ここでは、cart-poleでは必要にならなかった点が2つ出てきます。

CurriculumCurriculumの設計

Stages run reach → push → lift. Promotion happens when the rolling success over the last 100 finished episodes reaches 0.8 for reach and push, or 0.6 for lift. Weights and normaliser are kept across the promotion, the learning-rate anneal restarts, and the vector env swaps its task. --no-curriculum trains lift from scratch on the same budget. What should transfer between stages is the joint-space skill of putting the end effector at a point; what should not is anything about contact. Whether the transferred part is worth the steps spent on reach and push is the measurement.

ステージはreach → push → liftの順に進みます。直近に終了した100 episodeの成功率が、reachとpushでは0.8、liftでは0.6に達すると昇格します。 昇格時に重みとnormaliserは引き継ぎ、学習率のアニーリングは最初からやり直し、vector envはタスクを切り替えます。 --no-curriculumでは、同じ予算でliftをゼロから学習します。ステージ間で転移すべきなのは、エンドエフェクタを目標点に置く関節空間のスキルであり、 接触に関することは転移しないはずです。転移した部分が、reachとpushに費やしたstepに見合うかどうかが、今回計測する点です。

The transfer table転移の比較表

--dr full samples the bench's ranges at every reset; --dr none trains on the vendored model as is. Both policies are then run on every held-out cell, plus a dr cell with in-range sampling, which is the DR policy's home ground. Each cell is 100 episodes × 5 seeds.

--dr fullはリセットのたびにベンチの範囲からサンプリングし、--dr noneはvendoringしたモデルのまま学習します。 両方のpolicyを全held-outセルで実行し、さらにDR policyの得意領域である範囲内サンプリングのdrセルでも実行します。各セルは100 episode × 5 seedです。

Three failed runs, kept失敗した3つの学習（記録として残す）

Step size。8 epoch/更新の素のclipped PPOでは、4.46 M stepの時点でclip fractionが0.77、近似KLが1.44、σが0.50から0.054まで下がり、成功率は0.02でした。 対策：KLが0.02を超えた時点でepochループを打ち切る。ホバリング。KL stopを入れると、liftは把持を覚えたものの、returnが上がる一方で成功率が下がりました。 調査スクリプトで確認すると、150 stepのうち138 stepでキューブが4.7〜4.9 cmに保持されていました。成功ラインの5.0 cmのすぐ下です。 成功するとepisodeが終了するため、保持し続けるshaping rewardの方がボーナスより大きかったのです。 対策：学習中は成功してもterminationしない。評価では引き続き最初の成功をカウントします。 DRでゼロから学習。同じ手順を完全なランダム化のもとで実行すると停滞しました。直近の成功率は最大0.09に達した後、4.9 M stepまでの700回の更新でちょうど0のままで、KLとclip fractionは正常でした。 この学習は打ち切り、代わりにnominal policyをランダム化のもとで10 M step fine-tuneしました。1 seedのみなので、これはseed 0でこの手順が失敗したことを示すだけで、DRでのゼロからの学習が不可能だという意味ではありません。

ゼロから学習したnominalは1.0 M stepで0.6を超え、20 Mを2時間10分で完了しました。速度は、静かなホストで3,043 env-steps/s、Windows側が忙しいときは2,425でした。 ExportしたONNX policy（DR fine-tune版、73,990パラメータ）はPyTorchと2.1e-6の精度で一致し、1スレッドでp50 0.008 ms、p99 0.015 msで動作します。

Step size. Plain clipped PPO at 8 epochs per update drove clip fraction to 0.77, approximate KL to 1.44 and σ from 0.50 to 0.054 by 4.46 M steps, with success at 0.02. Fix: stop the epoch loop once KL passes 0.02. Hovering. With the KL stop, lift learned to grasp and then its success fell while return rose: a probe showed the cube held at 4.7–4.9 cm for 138 of 150 steps, just under the 5.0 cm success line, because success ended the episode and the shaping reward for holding was worth more than the bonus. Fix: do not terminate on success during training; every evaluation still counts the first success. DR from scratch. The same recipe under full randomisation stalled: rolling success peaked at 0.09, then sat at exactly 0 for 700 updates up to 4.9 M steps, with normal KL and clip fraction. It was stopped and replaced by fine-tuning the nominal policy under randomisation for 10 M steps. One seed, so that says the recipe failed on seed 0, not that DR from scratch cannot work.

Nominal from scratch crossed 0.6 at 1.0 M steps and finished 20 M in 2 h 10 min, at 3,043 env-steps/s on a quiet host and 2,425 while the Windows side was busy. The exported ONNX policy (the DR fine-tune, 73,990 parameters) matches PyTorch to 2.1e-6 and runs in 0.008 ms p50, 0.015 ms p99 on one thread.

The DR fine-tune halves the mean drop, and almost all of it is one cell: three steps of action latency, one step past the randomised range, costs the nominal policy more than half its success and the DR policy a quarter. The mass shift costs neither anything. The friction row says nothing: the slippery cell turned out inert (see the note under the imitation tables). Two things weaken the claim: one training seed per column (the ± is over evaluation seeds only), and the DR column has 10 M more training steps, so part of the gain may be training length. A 30 M-step nominal run is the control that would separate the two, and it has not been run.

DRでのfine-tuneにより平均低下は半分になりますが、その大部分は1つのセルによるものです。 ランダム化範囲を1 step超える3 stepのaction latencyで、nominal policyは成功率の半分以上を失い、DR policyは4分の1を失います。 質量の変化はどちらにも影響しません。摩擦の行からは何も言えません。slipperyセルは効果がないことが判明したためです（imitationの表の下の注記を参照）。 この主張を弱める点が2つあります。各列の学習seedが1つだけであること（±は評価seed間のばらつきのみ）、 そしてDRの列は学習stepが10 M多いため、改善の一部は学習期間の長さによる可能性があることです。 この2つを切り分ける対照実験は30 M stepのnominal学習ですが、まだ実行していません。

A smaller mean drop for the DR policy is evidence that randomising these factors transfers to shifts in these factors. It would say nothing about the physical SO-ARM100, whose unmodelled effects (backlash, cable friction, camera latency) are in neither column. The scripted expert's own numbers on the same cells, from the bench, are the ceiling to read the table against.

DR policyの平均低下が小さいことは、これらの要素をランダム化するとこれらの要素の変化に転移する、という根拠になります。 実機のSO-ARM100については何も言えません。モデル化していない影響（backlash、ケーブルの摩擦、カメラのlatency）はどちらの列にも含まれていないからです。 この表は、ベンチで計測した同じセルでのスクリプト化エキスパートの数値を上限として読んでください。

Checkpoints and exportCheckpointとexport

Runs are chunked and resumable. The checkpoint carries model, optimiser, normaliser, RNG and curriculum state, and a test asserts that two updates after a reload equal two updates without one, bit for bit. The throughput monitor warns when the rolling env-steps/s drops more than 20% below the first five updates; the machine cannot read its own temperature and CPU contention looks identical, so the warning says to check both. Export folds the normaliser into the actor's mean as one ONNX graph that takes raw observations, verified against PyTorch to 1e-5 on 1,000 random observations before any latency is quoted.

学習は分割実行と再開に対応しています。Checkpointにはモデル、optimiser、normaliser、乱数状態、curriculumの状態が含まれ、 再読み込み後の2回の更新が、再読み込みなしの2回の更新とビット単位で一致することをテストで確認しています。 Throughputモニターは、直近のenv-steps/sが最初の5回の更新より20%以上下がると警告を出します。 このマシンは自身の温度を読み取れず、CPUの競合も同じように見えるため、警告では両方を確認するよう促します。 Exportではnormaliserをactorの平均出力に畳み込み、生のobservationを受け取る1つのONNXグラフにします。 Latencyの数値を示す前に、1,000件のランダムなobservationでPyTorchとの一致を1e-5の精度で検証しています。

Imitation is the route physical arms mostly take: no reward shaping, no privileged state, a few hundred demonstrations and a camera. Here the policy sees what the real arm would see, the 15-d proprioception vector and a 96 × 128 front-camera image, and nothing else.

実機アームで主に使われるのはimitationです。reward shapingも特権状態も使わず、数百件のデモンストレーションとカメラだけで学習します。 ここでのpolicyが見るのは、実機アームが見るものと同じ、15次元のproprioceptionベクトルと96 × 128の前方カメラ画像だけです。

The expert plays two rolesエキスパートの2つの役割

Three models, one loss3つのモデル、1つのloss

All three train with L1 on normalised actions. Mean-squared error fits the conditional mean, and when demonstrations are multimodal (two valid grasp yaws, two ways round a cube) the mean is a third, invalid action. L1 fits the conditional median, which is one of the modes, and it is what ACT trains with. Padded chunk entries are masked. Normalisation statistics come from the training episodes only and travel with the checkpoint. The split is by episode, never by frame, and the final epoch is reported rather than the best one on validation.

3つとも、正規化したactionに対するL1 lossで学習します。二乗誤差は条件付き平均にフィットするため、デモが多峰性を持つ場合（有効な把持ヨー角が2つ、キューブを回り込む経路が2つ）、 平均は第3の無効なactionになってしまいます。L1は条件付き中央値にフィットし、これはいずれかのモードと一致します。ACTもL1で学習します。 Chunkのパディング部分はマスクします。正規化統計は学習用episodeのみから算出し、checkpointと一緒に保存します。 分割は常にepisode単位でフレーム単位ではなく、報告するのはvalidationで最良のepochではなく最終epochの値です。

The experiments実験

Scaling curve. For 10, 25, 50, 100 and 200 episodes and three training seeds each (six for ACT), train on the first n episodes for 20 epochs and evaluate 50 episodes on one evaluation seed. That is lighter than the bench protocol, to keep 15 runs per model affordable on a CPU. Every seed sees the same first episodes, so seeds differ only in initialisation and shuffling, and a cell's spread is over the training seeds. At 50 episodes one success is 0.02.

スケーリング曲線。10、25、50、100、200 episodeのそれぞれについて学習seedを3つ（ACTは6つ）使い、 先頭のn episodeで20 epoch学習し、1つの評価seedで50 episodeを評価します。 モデルあたり15回の学習をCPUで回せるよう、ベンチのプロトコルより軽くしています。どのseedも同じ先頭episodeを使うため、 seed間の違いは初期化とシャッフルだけで、各セルのばらつきは学習seed間のものです。50 episodeでは、1回の成功が0.02に相当します。

Three training seeds (six for ACT) × 50 episodes per cell, mean ± sd over seeds, measured 2026-09-25 and 2026-09-30. More demonstrations do not rescue single-step cloning: the image policy's validation L1 falls fivefold from 10 to 200 episodes (0.181 to 0.036) while its success stays between 0.01 and 0.05, so the compounding error below is not a data-quantity problem at this scale. ACT's mean climbs, 0.08 to 0.51, and has not levelled off at 200.

1セルあたり学習seed 3つ（ACTは6つ）× 50 episode、seed間の平均 ± 標準偏差で、2026-09-25と2026-09-30に計測しました。 デモを増やしても、single-stepのcloningは改善しません。画像policyのvalidation L1は10から200 episodeで5分の1（0.181 → 0.036）に下がる一方、 成功率は0.01〜0.05にとどまります。つまり後述する誤差の累積は、この規模ではデータ量の問題ではありません。 ACTの平均は0.08から0.51まで上昇し、200の時点でもまだ頭打ちになっていません。

もう1つの結果はばらつきです。200 episodeでは、ACTの6つのseedが0.92、0.82、0.76と、0.24、0.18、0.12の2群にはっきり分かれ、その中間はありません。 平均の0.51はどちらの群も表していません。50 episodeでは成功率0.5の二項標準誤差は0.07なので、これは評価ノイズではなく学習のばらつきです。 Seedがすべてのサイズで初期化とシャッフルを固定するため、50、100、200 episodeのいずれでも同じ3つのseedが低い群に入ります。 順位はこのばらつきの中で部分的にしか保たれません。100 episodeではACTの最悪のseedが画像policyの最良を上回りますが（0.12対0.06）、200では同点です（0.12と0.12）。 Validation lossは良いseedを見分ける信頼できる指標ではありません。50 episodeではL1が中間の値のseedが最も低い成功率で、200 episodeではL1の順序が2群の順序と一致しています。 このページの他の表はすべて学習seedが1つで、この曲線は、評価seed間の±が実際の不確かさを過小評価していることを示しています。 Chunk出力とsingle-stepの差はそれでも残るほど大きいですが、held-out表の0.06程度の差は残らないかもしれません。

The spread is the other result. At 200 episodes ACT's six seeds split into two groups, 0.92, 0.82 and 0.76 against 0.24, 0.18 and 0.12, with nothing in between, so the mean of 0.51 describes neither. At 50 episodes the binomial standard error of a 0.5 rate is 0.07, so that is training variance, not evaluation noise. The same three seeds are in the low group at 50, 100 and 200 episodes, because a seed fixes the initialisation and the shuffling for every size. The ranking only partly survives it: at 100 episodes ACT's worst seed is above the image policy's best (0.12 against 0.06), at 200 they tie (0.12 and 0.12). Validation loss is no reliable guide to the good seed: at 50 episodes the seed with the middle L1 has the worst success, though at 200 it does order the two groups. Every other table on this page is one training seed, and this curve says their ± over evaluation seeds understates the real uncertainty. The chunked-versus-single-step gap is large enough to survive that; a 0.06 difference in the held-out table may not.

DAgger. Mixing coefficient β_i = 0.5 · 0.5ⁱ, 20 rollouts per iteration, labels from the shadow expert, retrain from scratch on the aggregate, five iterations. The comparison is BC on the same 200 demonstrations.

DAgger。混合係数β_i = 0.5 · 0.5ⁱ、1イテレーションあたり20 rollout、ラベルはシャドーエキスパートから取得し、 集約したデータでゼロから再学習、これを5イテレーション行います。比較対象は同じ200件のデモで学習したBCです。

100 episodes × 5 seeds, mean ± sd over seeds. Per seed, DAgger scores 0.18, 0.06, 0.09, 0.22 and 0.13; BC scores 0.03, 0.07, 0.05, 0.06 and 0.04. Four of the five DAgger seeds beat BC's best, a gap of about three standard errors. The gain is real and small. The learner's own success per iteration (20 episodes each, so ±0.1 is noise) went 0.05, 0.20, 0.10, 0.05, 0.05 and never climbed. Relabelling the states the learner visits does not give a single-step policy the temporal context it lacks.

100 episode × 5 seed、seed間の平均 ± 標準偏差です。Seedごとの値は、DAggerが0.18、0.06、0.09、0.22、0.13、 BCが0.03、0.07、0.05、0.06、0.04です。DAggerの5 seedのうち4つがBCの最良値を上回り、差は標準誤差のおよそ3倍です。 改善は本物ですが、小さいものです。各イテレーションでの学習側自身の成功率（各20 episodeなので±0.1はノイズ）は0.05、0.20、0.10、0.05、0.05と推移し、上昇しませんでした。 学習側が訪れた状態にラベルを付け直しても、single-step policyに欠けている時間方向の文脈は補えません。

Held-out physics. Both image policies on every EVAL_PHYSICS cell, 100 episodes × 5 seeds. The demonstrations were recorded on nominal physics, so this is a transfer table, and the expert's own table from the bench is the reference column. Training data: the recorder kept 200 of 218 expert attempts, 14,487 frames. Final-epoch validation L1 was 0.034 for the single-step policy and 0.123 for ACT, and the table shows how little that predicts.

Held-out物理条件。2つの画像policyを、すべてのEVAL_PHYSICSセルで100 episode × 5 seed評価しました。 デモはnominalの物理条件で記録したので、これは転移の表です。基準列はベンチで計測したエキスパート自身の値です。 学習データ：レコーダーはエキスパートの試行218回のうち200回を保存し、14,487フレームです。最終epochのvalidation L1はsingle-step policyが0.034、ACTが0.123で、 表を見ればこの値がほとんど何も予測しないことがわかります。

Chunking is the whole difference. Same demonstrations, same keypoint encoder, same loss: the single-step policy lifts the cube 5% of the time, ACT 77%. The pipeline was checked before that was believed. Replaying a recorded episode through the evaluation env reproduces the state to 7e-7, and on the expert's own trajectory the policy's worst-joint error against the demonstration is 0.033 rad median and 0.18 at the 95th percentile. Closed loop, its error against the expert grows from 0.4 to 0.5 rad in the first 10 steps to 1.1 to 4.6 rad by step 60 to 150, on 3 evaluation seeds. That is compounding error, the textbook failure of behaviour cloning, here measured.

差を生んでいるのはchunk出力だけです。デモも、keypoint encoderも、lossも同じです。それでもsingle-step policyがキューブを持ち上げるのは5%、ACTは77%です。 この結果を信じる前にパイプラインを検証しました。記録したepisodeを評価用envで再生すると状態は7e-7の精度で再現され、 エキスパート自身の軌道上では、デモに対するpolicyの最悪関節誤差は中央値0.033 rad、95パーセンタイルで0.18です。 閉ループでは、エキスパートとの誤差が最初の10 stepの0.4〜0.5 radから、60〜150 step目には1.1〜4.6 radまで拡大します（評価seed 3つ）。 これがbehaviour cloningの教科書的な失敗である誤差の累積であり、ここではそれを計測しています。

ACT transfers, with two real losses. Heavy and noisy stay within noise of nominal. Three steps of latency cost it 0.12 and the weak servo 0.06, where the expert loses at most 0.01. The small cube costs ACT 0.39 against the expert's 0.20. An 18 mm cube (9 mm half-extent, against 25 mm nominal) in a 96 × 128 image is a perception problem, and the expert, which reads the true pose, does not have it.

ACTは転移するが、実質的な低下が2つある。heavyとnoisyはnominalとの差がノイズの範囲内です。 3 stepのlatencyでは0.12、weakサーボでは0.06低下し、エキスパートの低下は最大でも0.01です。小さいキューブではACTが0.39低下し、エキスパートは0.20です。 96 × 128の画像に写る18 mmのキューブ（半辺長9 mm、nominalは25 mm）は認識の問題であり、真の姿勢を読み取るエキスパートにはこの問題がありません。

Experimental: demonstrations from a hand video実験的機能：手の動画からのデモンストレーション

MediaPipe Hand Landmarker on an overhead phone video; wrist position maps to a point in the spawn box, thumb-to-index pinch distance to jaw angle and a two-level height; the bench's IK turns that into joint targets, and the targets are replayed in the simulator. The video supplies the motion, the simulator supplies everything the policy sees. It has run on synthetic landmarks only and has not been validated on a real recording. The page says so because the repository does.

スマートフォンで俯瞰撮影した動画にMediaPipe Hand Landmarkerを適用します。手首の位置を出現範囲内の点に、親指と人差し指の間隔をジョー角度と2段階の高さに対応付けます。 それをベンチのIKで関節目標値に変換し、シミュレーター上で再生します。動作は動画から、policyが見るものはすべてシミュレーターから得ます。 合成したランドマークでしか動かしておらず、実際の録画では検証していません。リポジトリにそう書いてあるので、このページにも明記しています。

The interesting property of a vision-language-action model is that one policy follows language across tasks and objects and generalises to phrasings and combinations it was not trained on. That property can be tested at about one million parameters on a laptop CPU with a real held-out protocol. What cannot be tested here is scale, and the repository does not pretend otherwise.

Vision-language-actionモデルの興味深い性質は、1つのpolicyがタスクや物体をまたいで言語に従い、学習していない言い回しや組み合わせにも汎化することです。 この性質は、約100万パラメータ規模でも、ノートPCのCPU上で本来のheld-outプロトコルを使ってテストできます。 ここでテストできないのは規模であり、リポジトリもそれを偽ってはいません。

What the policy isPolicyの構成

Three tokens go into a 128-wide, 2-layer transformer encoder: a frozen 384-d sentence embedding, 32 image keypoints from a small CNN, and the arm's proprioception. Ten learned queries go through a 2-layer decoder and come out as a chunk of ten joint-target vectors, blended at run time as chunks overlap. Before the keypoints are pooled, the sentence embedding produces a per-channel scale and shift on the image features (FiLM), so "the blue cube" can sharpen blue before position is read out. Training is L1 on normalised actions over a few thousand expert frames covering four tasks and three colours, all three cubes always on the table.

幅128・2層のtransformer encoderに3つのトークンを入力します。重みを固定した384次元のsentence embedding、小さなCNNから得る32個の画像keypoint、そしてアームのproprioceptionです。 学習済みの10個のクエリが2層decoderを通り、10個の関節目標ベクトルからなるchunkとして出力されます。実行時には重なり合うchunkをブレンドします。 Keypointをプーリングする前に、sentence embeddingが画像特徴にチャンネルごとのスケールとシフトを与えます（FiLM）。 これにより「the blue cube」という指示で、位置を読み出す前に青色を強調できます。 学習は、4タスク・3色をカバーする数千フレームのエキスパートデータに対する、正規化actionのL1 lossです。テーブル上には常に3つのキューブすべてが置かれています。

What it is notこのpolicyではないもの

It is not a foundation model and it does not fine-tune one. SmolVLA-base appears as a zero-shot calibration line, inference only. A LoRA fine-tune of a SmolVLM-sized network is gated on a measured compute check and is future work even where the gate passes.

基盤モデルではなく、基盤モデルをfine-tuneしたものでもありません。SmolVLA-baseはzero-shotの参照ラインとして、推論のみで登場します。 SmolVLM規模のネットワークのLoRA fine-tuneは、計測による計算量チェックで可否を判定するもので、判定を通過した場合でも今後の課題です。

The three splits3つの分割

Sentences and (task, colour) pairs come from the bench's instruction module, so "unseen" means the same sentences the imitation recorder never writes. There are five training and three held-out templates per task, for example training "pick up the {c} cube" and held-out "hoist the {c} block". Nine of the twelve (task, colour) pairs are used in training; lift:blue, push:red and pick_place:green are held out.

文と（タスク, 色）ペアはベンチの指示文モジュールから取るため、「未見」はimitation用レコーダーが決して書き出さない文とまったく同じものを指します。 タスクごとに学習用5個・held-out用3個のテンプレートがあります。例えば学習用は「pick up the {c} cube」、held-outは「hoist the {c} block」です。 12個の（タスク, 色）ペアのうち9個を学習に使い、lift:blue、push:red、pick_place:greenはheld-outにしています。

Does the language model matter? An ablation with a control言語モデルは効いているのか：対照付きのablation

Two encoders produce the same 384-d shape. MiniLM (all-MiniLM-L6-v2, 22M parameters, frozen) is a sentence model that should place "hoist the blue block" near "lift the blue cube". A hashed bag of words and bigrams has no parameters and no semantics; "hoist" and "lift" land in unrelated buckets. If the hashed policy scores as well as MiniLM on paraphrase, the split was not testing language understanding. If MiniLM wins there and ties on seen, the difference is the encoder's contribution and nothing else, because policy, data and seeds are identical. A third row removes FiLM, leaving language as a token only.

2つのエンコーダーは同じ384次元の出力を持ちます。MiniLM（all-MiniLM-L6-v2、22Mパラメータ、重み固定）は、 「hoist the blue block」を「lift the blue cube」の近くに配置するはずの文モデルです。 単語とbigramのハッシュによるbag of wordsはパラメータも意味も持たず、「hoist」と「lift」は無関係なバケットに入ります。 ハッシュ版のpolicyがparaphraseでMiniLMと同等のスコアを出すなら、その分割は言語理解をテストしていなかったことになります。 MiniLMがそこで勝ち、seenで同点なら、policy・データ・seedが同一なので、その差はエンコーダーの寄与そのものです。 3行目はFiLMを外し、言語をトークンとしてのみ入力します。

SmolVLA-base, zero-shot, same simulatorSmolVLA-base：同じシミュレーターでzero-shot評価

lerobot/smolvla_base was pretrained on community SO-100/101 data: real arms, real cameras, motor units. Here it receives a rendered 96 × 128 frame letterboxed to its 512 × 512 input, six joint angles in radians zero-padded to its state width, and the instruction. Nothing is adapted and the expected result is low. It is a calibration line, not a comparison of capability: different embodiment statistics, camera placement, units and control rate make it evidence about this protocol, not about SmolVLA. A dry-run mode validates the observation mapping against a stub with the same feature keys, so the test suite covers it without the download.

lerobot/smolvla_baseは、コミュニティのSO-100/101データ（実機アーム、実カメラ、モーター単位の値）で事前学習されています。 ここでは、レンダリングした96 × 128のフレームを512 × 512の入力にレターボックスで合わせ、ラジアン単位の6つの関節角をstate幅までゼロ埋めし、指示文と一緒に与えます。 何も適応させていないので、低い結果が予想されます。これは能力の比較ではなく参照ラインです。 身体性の統計、カメラ配置、単位、制御周期が異なるため、この結果はSmolVLAについてではなく、このプロトコルについての根拠になります。 Dry-runモードでは、同じ特徴キーを持つスタブを相手にobservationの対応付けを検証するため、ダウンロードなしでテストスイートがこれをカバーできます。

Measured over 10 episodes per task: reach 0.00, push 0.00, lift 0.00, pick_place 0.00, 0 of 40 as expected. One 50-step action chunk takes 3.16 s at the median (p90 3.30 s, n = 130) on 8 CPU threads, 64 times the 50 ms control period: on CPU a 500M-parameter VLA is not a real-time controller, whatever it scores after fine-tuning.

タスクあたり10 episodeで計測した結果はreach 0.00、push 0.00、lift 0.00、pick_place 0.00で、予想どおり40回中0回でした。 50 stepのaction chunk 1つの生成に、CPU 8スレッドで中央値3.16秒（p90 3.30秒、n = 130）かかり、50 msの制御周期の64倍です。 CPU上では、500Mパラメータ規模のVLAは、fine-tune後のスコアがどうであれリアルタイムのコントローラーにはなりません。

The LoRA gateLoRAの可否判定

Before proposing a fine-tune, measure whether one step of it is affordable. The gate builds a decoder with SmolVLM-256M's language-model shape (hidden 576, 30 layers, 9 heads, MLP 1536), attaches rank-8 LoRA to the query and value projections, and times one forward-backward-optimiser step at batch 1, sequence 256, on 8 threads. The rule was fixed before measuring: go under 5 s per step, otherwise no-go. At 5 s per step, 2,000 steps is 2.8 hours, the most a chunked, attended CPU run can carry.

Fine-tuneを提案する前に、その1 stepが現実的なコストかどうかを計測します。 判定では、SmolVLM-256Mの言語モデルと同じ形状（hidden 576、30層、9ヘッド、MLP 1536）のdecoderを構築し、queryとvalueの射影にrank 8のLoRAを付けます。 そしてバッチ1、系列長256、8スレッドで、順伝播・逆伝播・optimizer更新の1 stepを計時します。 判定基準は計測前に決めました。1 stepあたり5秒未満なら実施、それ以外は見送りです。 1 step 5秒なら2,000 stepで2.8時間となり、見守りながら分割実行するCPU学習で扱える上限です。

Measured: a stand-in of 176.7M parameters with 0.55M trainable (0.31%), 0.51 s per step on 8 threads, best of two, so the gate passes and 2,000 steps would be about 0.3 h. The gate times the language-model half only; the real SmolVLA action expert adds a vision tower and a flow-matching head that were not timed. A pass says a fine-tune is affordable to try, not that it would help.

計測結果：176.7Mパラメータの代替モデル（学習対象は0.55M、0.31%）で、8スレッドで1 stepあたり0.51秒（2回中の最良値）でした。 判定は通過で、2,000 stepなら約0.3時間です。この判定で計時したのは言語モデル部分のみで、実際のSmolVLAのaction expertには、計時していないvision towerとflow-matchingヘッドが加わります。 通過が意味するのはfine-tuneを試すコストが許容範囲だということであり、それが性能向上につながるということではありません。

Measured facts計測済みの事実

• The latency-buffer off-by-one in the bench, found by a tracking test and fixed.
• MiniLM cosine similarities on the instruction templates, above: paraphrases are further apart than sentences that share surface words.
• The LoRA gate: 0.51 s per step on 8 threads for a 176.7M-parameter stand-in, rule fixed before measuring.
• The cost of an image-policy evaluation: about 52 ms per control step on one core, render plus policy, so the seven-cell held-out table is about 6 core-hours per model. It ran in resumable (physics, seed) units under a time budget, and it bounds the imitation and language tables, not the models.
• Bare mj_step on this arm model at about 18 µs single-process during development, roughly 2,200 env-steps/s per process before any Python overhead. A development reading, not the throughput table.

• ベンチのlatencyバッファのoff-by-oneバグ。追従性のテストで発見し、修正済み。
• 前述した指示文テンプレートでのMiniLMのコサイン類似度。言い換え同士の方が、表層の単語を共有する文同士より離れている。
• LoRAの可否判定：176.7Mパラメータの代替モデルで、8スレッドで1 stepあたり0.51秒。判定基準は計測前に固定。
• 画像policyの評価コスト：描画とpolicyを合わせて1コアで制御ステップあたり約52 ms。7セルのheld-out表はモデルあたり約6コア時間になる。 時間予算のもとで（物理条件, seed）単位に再開可能な形で実行しており、これがimitationとlanguageの表の制約になっている（モデルの制約ではない）。
• 開発中に計測した、このアームモデルでの素のmj_stepは単一プロセスで約18 µs。Pythonのオーバーヘッドを除けばプロセスあたり約2,200 env-steps/s。 開発時の読み値であり、throughput表の値ではない。

Development readings that are not the reference基準値ではない開発時の読み値

The expert's success gates in the bench tests were set from 30 episodes and one seed: reach 1.00 everywhere; lift 0.93 nominal, 0.87 small, 0.97 weak, 0.93 heavy; push 0.83, 0.80, 0.77, 0.80; pick_place 0.93, 0.80, 0.93, 0.90. The gates sit below those, at 0.95, 0.75, 0.65 and 0.75. The 100 × 5 table above is the published result; these are only what the tests hold the expert to.

ベンチのテストにあるエキスパートの成功率の合格基準は、30 episode・1 seedの値から設定しました。 reachはすべて1.00、liftはnominal 0.93・small 0.87・weak 0.97・heavy 0.93、pushは0.83、0.80、0.77、0.80、pick_placeは0.93、0.80、0.93、0.90です。 合格基準はそれより低い0.95、0.75、0.65、0.75に置いています。公開する結果は前述の100 × 5の表であり、これらはテストがエキスパートに課す基準にすぎません。