8つの重みでCartPoleを解決する
本記事は、強化学習の古典的な課題であるCartPoleを、わずか8つの重み（2×4の行列）だけで解決する手法を提示している。
このポリシーは、状態変数4つを入力とし、線形演算によって2つの行動スコアを出力する、極度にシンプルな構造を持つ。
従来のディープラーニングに見られる隠れ層やバイアスは一切用いず、クロスエントロピー法を用いてこの最小限の重みを訓練した。
この研究は、高度なAIモデルが必ずしも必要ではなく、問題を解決するエレガントで単純な「本質」が存在することを示している。
機械学習の分野で最も基本的な環境の一つとされる「CartPole（カートポール）」を、わずか8個の重み（パラメータ）だけで解くことに成功したという研究が発表されました。これは、複雑なディープラーニングモデルに頼らず、極めてシンプルな線形モデルだけで高度な制御タスクを達成した事例として注目を集めています。
CartPoleとは何か？基本の再確認
CartPoleは、カートに乗せた棒を倒さずにバランスを取らせるという、強化学習（Reinforcement Learning）の入門的なシミュレーション環境です。状態（State）としてカートの位置や速度、棒の角度や角速度の4つの数値が入力され、アクションとして左右どちらかに力を加える（2つの選択肢）ことで棒を維持するという仕組みです。
通常、この種のタスクを解くには、リプレイバッファやターゲットネットワークといった複雑な機構を持つ大規模なニューラルネットワークが用いられますが、本研究ではそのアプローチを根本から見直しています。
8個の重みで実現する線形制御
本研究の核心は、複雑なニューラルネットワークの代わりに、単一の2行4列の行列（重みW）を用いる点にあります。この行列は、入力された4つの状態変数（[x, x_dot, theta, theta_dot]）に対して、左右のアクションそれぞれに対するスコアを計算します。
この計算は「scores = W · state」という非常にシンプルな線形代数で完結しており、隠れ層や活性化関数、バイアスといったディープラーニング特有の要素は一切ありません。つまり、このモデルは物理法則を直接的に「推論」している状態と言えます。
進化戦略による最適化プロセス
この極小モデルの重みは、従来の勾配降下法（Gradient Descent）ではなく、「クロスエントロピー法（Cross-Entropy Method）」という進化戦略を用いて最適化されました。これは、ランダムに生成した多数の重み行列（候補）を試行し、最も高い報酬を得た「エリート」を選び出し、その平均値に向かって重みを徐々に進化させていく手法です。
この手法が有効なのは、探索空間が非常に小さく、8次元というシンプルな構造だからだと説明されています。これにより、複雑な学習プロセスを経ることなく、最適なパラメータに到達することが可能になったとのことです。
まとめ
この成果は、知能や複雑なタスクの解決能力が、必ずしもパラメータ数やモデルの深さに比例するわけではないという重要な示唆を与えています。最もエレガントでシンプルな解法が、時に最も強力な解決策となり得ることを証明した事例だといえるでしょう。
原文の冒頭を表示（英語・3段落のみ）
The entire brain
CartPole is the fruit fly of reinforcement learning. It is the environment everyone pokes first: four numbers come in, one of two actions goes out, and the pole either remains proudly upright or collapses into numerical embarrassment.
Most people arrive carrying a backpack full of machinery: replay buffers, target networks, value heads, entropy bonuses, annealing schedules, and enough acronyms to make a grant reviewer purr. But CartPole, if you look at it with the right kind of arrogance, is whispering something simpler.
※ 著作権に配慮し、引用は冒頭3段落までです。続きは元記事をご覧ください。