FML-bench：探索ダイナミクスの観点からAI研究エージェントの戦略を制御的に研究する

本研究は、機械学習（ML）研究を自動化するAI研究エージェントの性能を、戦略（探索トポロジー）と実行基盤から切り離して評価するためのベンチマーク「FML-Bench」を提案した。

このベンチマークは10のドメインにわたる18の基本的なMLタスクをカバーし、12のプロセスの行動指標を定義している。

評価の結果、複雑さだけでは性能が保証されず、探索機会の構造に応じて最適な戦略が異なることが示された。

具体的には、貪欲な探索は機会密度の高い状況で、ツリー探索などの戦略は機会が希薄な状況で有効である傾向がある。

また、最終性能は初期の収束速度と方向性のある探索に大きく依存することが明らかになった。