TextResNet: 複合 AI システムにおける最適化信号の解耦とルータングの最適化に対するディープリズidualチューニング

arXiv:2602.08306v1 発表タイプ：新しい 要約：テキスト・グラデントスタイルの最適化器 (TextGrad) は、複合 AI システムを介してグラデントのようなフィードバックの伝播を可能にします。しかし、それらは深いチェーンに対してうまく機能しません。この制限の根本的原因は、これらの拡張されたワークフローにおける「Semantic Entanglement」問題にあります。標準的なテキストバックプロパゲーションでは、フィードバック信号はローカルな批判とアップストリームコンテキストを混在させ、帰属の曖昧さ (Attribution Ambiguity) を引き起こします。この課題に対処するために、我々は 4 つの主要なイノベーションを通じて最適化プロセスを再形式化し、正確な信号ルータングを実現する、TextResNet というフレームワークを提案します。まず、前方パスにおいて、Additive Semantic Deltas を強制し、グラデントの流れのためのアイデンティティ・ハイウェイを維持します。次に、後方パスにおいて、Semantic Projector を介してフィードバックを因果的に独立したサブスペースに分離するための Semantic Gradient Decomposition を導入します。さらに、Causal Routing を実装し、プロジェクションされた信号を特定のコンポーネントにルータします。最終的に、Density-Aware Optimization Scheduling を実行し、分離された信号を活用してシステム上のボトルネックの動的資源割り当てを実現します。我々の結果は、TextResNet が TextGrad に対する優位な性能を示すだけでなく、複合 AI システムにおけるエージェントタスクにおいてベースラインが崩壊する状況で驚くべき安定性を示すと示しています。コードは https://github.com/JeanDiable/TextResNet において利用可能です。

arXiv:2602.08306v1 Announce Type: new Abstract: Textual Gradient-style optimizers (TextGrad) enable gradient-like feedback propagation through compound AI systems. However, they do not work well for deep chains. The root cause of this limitation stems from the Semantic Entanglement problem in these extended workflows. In standard textual backpropagation, feedback signals mix local critiques with upstream contexts, leading to Attribution Ambiguity. To address this challenge, we propose TextResNet, a framework that reformulates the optimization process to achieve precise signal routing via four key innovations. Firstly, in the forward pass, it enforces Additive Semantic Deltas to preserve an Identity Highway for gradient flow. Secondly, in the backward pass, it introduces Semantic Gradient Decomposition via a Semantic Projector to disentangle feedback into causally independent subspaces. Thirdly, it implements Causal Routing, which routes projected signals to their specific components. Finally, it performs Density-Aware Optimization Scheduling to leverage the disentangled signals to dynamically allocate resources to key system bottlenecks. Our results show that TextResNet not only achieves superior performance compared to TextGrad, but also exhibits remarkable stability for agentic tasks in compound AI systems where baselines collapse. Code is available at https://github.com/JeanDiable/TextResNet.