EvoForest: 計算グラフのオープンエンド進化に基づく新しい機械学習のパラダイム

arXiv:2604.19761v1 Announce Type: cross 要旨: 現代の機械学習は、パラメトライズされたモデルファミリーを選択してその重み最適化を行うという単一のレシピを中心に構成されており、その成功は広く認められています。しかし、このパラダイムは、データから計算すべきものを発見する必要がある構造的な予測問題において、パラメータのフィッティングではなく、計算すべきものを発見することが主要なボトルネックであるという現実に対応しすぎない限界があります。成功は、変換、統計量、不変性、相互作用構造、時間的総括、ゲート、または非線形合成の適切なものを見出すことに依存し、特に目的関数が非微分可能、評価がクロスバリデーションに基づく、解釈可能性が重要、あるいは連続的な適応が必要となる場合です。 我々は、エンドツーエンドのオープンエンド進化のための計算を実現するハイブリッドなニューロシンボリックシステム「EvoForest」を提示します。EvoForest は、単に特徴量を生み出すだけでなく、共有された有向非循環グラフ（DAG）の中で再利用可能な計算構造、呼び出し可能な関数ファミリー、そして訓練可能な低次元連続要素を同時に進化させます。中間ノードは代替実装を格納し、呼び出し可能なノードは投影、ゲート、活性化関数などの再利用可能な変換ファミリーを符号化し、出力ノードは候補予測計算を定義し、永続的なグローバルパラメータは勾配降下法によって微調整されます。 各グラフ構成に対して、EvoForest は発見された計算を検出し、軽量な Ridge バイアスに基づく読み出し部分を用いて、得られた表現を非微分可能なクロスバリデーション目標と比較してスコアリングします。評価器はさらに、将来の LLM 駆動変異を誘導する構造化されたフィードバックも生成します。2025 年 ADIA Lab Structural Break チャンネルにおいて、EvoForest は 600 ステップの進化後に 94.13% の ROC-AUC を達成し、同じ評価プロトコル下に報告された公開 Winning スコアである 90.14% を上回りました。

arXiv:2604.19761v1 Announce Type: cross Abstract: Modern machine learning is still largely organized around a single recipe: choose a parameterized model family and optimize its weights. Although highly successful, this paradigm is too narrow for many structured prediction problems, where the main bottleneck is not parameter fitting but discovering what should be computed from the data. Success often depends on identifying the right transformations, statistics, invariances, interaction structures, temporal summaries, gates, or nonlinear compositions, especially when objectives are non-differentiable, evaluation is cross-validation-based, interpretability matters, or continual adaptation is required. We present EvoForest, a hybrid neuro-symbolic system for end-to-end open-ended evolution of computation. Rather than merely generating features, EvoForest jointly evolves reusable computational structure, callable function families, and trainable low-dimensional continuous components inside a shared directed acyclic graph. Intermediate nodes store alternative implementations, callable nodes encode reusable transformation families such as projections, gates, and activations, output nodes define candidate predictive computations, and persistent global parameters can be refined by gradient descent. For each graph configuration, EvoForest evaluates the discovered computation and uses a lightweight Ridge-based readout to score the resulting representation against a non-differentiable cross-validation target. The evaluator also produces structured feedback that guides future LLM-driven mutations. In the 2025 ADIA Lab Structural Break Challenge, EvoForest reached 94.13% ROC-AUC after 600 evolution steps, exceeding the publicly reported winning score of 90.14% under the same evaluation protocol.