NVIDIA の研究 — 同じモデルでもハーネス次第で 30% → 100%
NVIDIA が 8/21(日本時間 8/22 未明)に公開した研究は、長時間タスクの成否を分けるのはモデルよりハーネスだと示した。メモリ管理を作り込み「スーパーバイザー」役のエージェントを足した独自ハーネス AVO を使ったところ、Claude Opus 5 が対話型推論ベンチ ARC-AGI-3 で 100% を記録した。同じ Opus 5 がハーネス無しでは 30% にとどまっている。
キーポイント
- ARC-AGI-3 は説明書のない 2D ゲーム群。人間と同じように遊び方を自力で見つけて勝つ必要がある
- Opus 5 は素の状態で 30%(テスト対象モデル中の最高値)→ AVO ハーネス経由で 100%
- 効いたのは「スーパーバイザー」層。行き詰まりや同じ道の辿り直しを検知して軌道修正する CEO のような役回り(NVIDIA AI 部門 VP Adel El Hallak)
- OpenAI も同ベンチで 10% 未満に苦しみ、先月ハーネスの設定を2つ変えるだけでスコアを3倍にしたが 100% には届いていない
- AVO は製品ではない。NVIDIA はハーネスの部品を Nemo ブランドで公開・提供している
- Databricks の7月の研究では、モデルが同じでもハーネスを誤るとコストが2倍になると報告されている(Ali Ghodsi CEO)