12901 articles
Continuous Program Search
arXiv:2602.07659v1 Announce Type: new Abstract: Genetic Programming は解釈可能なプログラムを生み出すものの、微小的な構文変異が大きな予測不能な行動変化を引き起こし、局所性とサンプル効性を低下させることがある。我々はこれを演算子設計の問題として捉え、潜在空間における距離が行動の意味を持つように連続的なプログラム空間を学習させ、その...
Original: arXiv:2602.07659v1 Announce Type: new Abstract: Genetic Programming yields interpretable programs, but small syntactic mutations can induce large, unpredictable behavioral shifts, degrading locality ...
Surprisal-Guided Selection: Compute-Optimal Test-Time Strategies for Execution-Grounded Code Generation
arXiv:2602.07670v1 Announce Type: new 摘要：テストタイムトレーニング（TTT）は、推論時に勾配ベースの更新を通じて言語モデルを適応させる手法です。しかし、適応が適切な戦略なのかどうかは疑問です。我々は、検証可能な実行基礎（VEG）タスク、例としては GPU カーネル最適化など、決定論的な評価者が密集した連続的な報酬シグナルを提供するドメイン向けに、計算効率の高...
Original: arXiv:2602.07670v1 Announce Type: new Abstract: Test-time training (TTT) adapts language models through gradient-based updates at inference. But is adaptation the right strategy? We study compute-opt...
分布シフトとドリフトを考慮したプロフィールマッピング付きフェデレーテッド学習
Federated Learning with Profile Mapping under Distribution Shifts and Drifts
arXiv:2602.07671v1 Announce Type: new フェデレーテッド学習（FL）は、生データを共有せずにクライアント間での分散モデルトレーニングを可能にしますが、実際のデータ異質性下ではパフォーマンスが低下します。既存の方法は、クライアント間の分布シフトや時間経過に伴う分布ドリフトに対応できておらず、あるいはクライアントクラスターの数やデータ異質性の類型など現実的な前提を...
Original: arXiv:2602.07671v1 Announce Type: new Abstract: Federated Learning (FL) enables decentralized model training across clients without sharing raw data, but its performance degrades under real-world dat...
ElliCE: Rashomon 集合を楕円体の近似で最適化する確定的に頑健なアルゴリズム的帰結
ElliCE: Efficient and Provably Robust Algorithmic Recourse via the Rashomon Sets
arXiv:2602.07674v1 発表タイプ：新規 要約：機械学習モデルはすでに、人々の生活に直接影響を与える決定に影響を与えており、予測だけでなく、個人がより良い結果を得るためにどのように行動すべきかという理解も重要となってきた。アルゴリズム的帰結（algorithmic recourse）は、より好ましい結果を取得するために実行可能な入力変更を提供するもので、通常、近傍説明文（count...
Original: arXiv:2602.07674v1 Announce Type: new Abstract: Machine learning models now influence decisions that directly affect people's lives, making it important to understand not only their predictions, but ...
Spectral Gating Networks
arXiv:2602.07679v1 Announce Type: new 摘要：ゲート機構は至るところに見られますが、前向きネットワークにおける補完的な問いが十分に研究されていません。それは、安定性とスケーラビリティを犠牲にしてはいないかながら、周波数豊かな表現力をどのように導入すべきかという問いです。この緊張関係は、グリッドの细化をパラメータ増加と高精度な最適化の脆弱性を引き起こすスプラインに...
Original: arXiv:2602.07679v1 Announce Type: new Abstract: Gating mechanisms are ubiquitous, yet a complementary question in feed-forward networks remains under-explored: how to introduce frequency-rich express...
予測符号ネットワークの無限的な幅と深度の限界について
On the Infinite Width and Depth Limits of Predictive Coding Networks
arXiv:2602.07697v1 発表タイプ: 新しい 要旨: 予測符号（PC）は、標準的なバックプロパゲーション（BP）への生生物学的合理的な代替であり、重みを更新する前にネットワークの活動に対してエネルギー関数を最小化します。最近の研究は、BP による再パラメトリゼーションを活用することで、深層 PC ネットワーク（PCN）のトレーニング安定性を向上させています。しかし、これらのアプロー...
Original: arXiv:2602.07697v1 Announce Type: new Abstract: Predictive coding (PC) is a biologically plausible alternative to standard backpropagation (BP) that minimises an energy function with respect to netwo...
医療データにおける線形構造保持を通じた高密度特徴学習
Dense Feature Learning via Linear Structure Preservation in Medical Data
arXiv:2602.07706v1 発表タイプ：新規 要約: 医療データ向けの深層学習モデルは、通常、判別方向に表現を圧縮することを促すタスク固有の目標関数を使用して訓練されます。これは個別の予測問題には効果的であるが、臨床データ豊かな構造を活用し尽くしておらず、学習された特徴の転移性、安定性、解釈性を制限します。本稿では、医療埋め込みの線形構造を明示的に形成する表現中心の枠組みである「高密度特...
Original: arXiv:2602.07706v1 Announce Type: new Abstract: Deep learning models for medical data are typically trained using task specific objectives that encourage representations to collapse onto a small numb...
アウト・オブ・ディストリビューションによる一般化を用いたグラフニューラルネットワークの説明品質の定量化
Quantifying Explanation Quality in Graph Neural Networks using Out-of-Distribution Generalization
arXiv:2602.07708v1 発表 タイプ：新規 摘要：グラフニューラルネットワーク（GNN）の事後説明の評価品質を評価することは依然として大きな課題である。近年では説明可能性手法の開発が進んでいるが、現在の評価指標（例：忠実性、疎性）は、説明が真の因果変数を識別しているか否かを評価することはできない。この問題を解決するために、われわれは説明一般化スコア（EGS）を提案する。これは GNN...
Original: arXiv:2602.07708v1 Announce Type: new Abstract: Evaluating the quality of post-hoc explanations for Graph Neural Networks (GNNs) remains a significant challenge. While recent years have seen an incre...
Optimizers に対する頑健なスケールリング則への道
Towards Robust Scaling Laws for Optimizers
arXiv:2602.07712v1 Announce Type: new 摘要: 大規模言語モデル (LLM) の事前学習の品質は、計算リソースの予算や最適化アルゴリズムの選択などの多様な要因に依存します。経験則的なスケールリング則は、モデルサイズやトレーニングデータが増加する際の損失を予測するために広く使用されていますが、既存のほぼすべての研究は最適化器（一般的に AdamW）を固定していま...
Original: arXiv:2602.07712v1 Announce Type: new Abstract: The quality of Large Language Model (LLM) pretraining depends on multiple factors, including the compute budget and the choice of optimization algorith...
Diffusion モデルにおける Zero-Shot Posterior Sampling の解析と誘導
Analyzing and Guiding Zero-Shot Posterior Sampling in Diffusion Models
arXiv:2602.07715v1 Announce Type: new 摘要：信号を劣化された測定から再生することは、科学と工学において長年にわたる課題でした。最近、ゼロショットに基づく拡散モデル手法が、事前知識を活用した後方サンプリング解を提供するためにそのような逆問題に応用されました。そのようなアルゴリズムは観測を推論を通じて統合しており、しばしば手動調整と直感的な方法に依存します。本研究...
Original: arXiv:2602.07715v1 Announce Type: new Abstract: Recovering a signal from its degraded measurements is a long standing challenge in science and engineering. Recently, zero-shot diffusion based methods...
モデル内省を用いた強化学習における効率的な計画立案
Efficient Planning in Reinforcement Learning via Model Introspection
arXiv:2602.07719v1 Announce Type: new Abstract: 強化学習と古典的計画立案は、通常は異なる形式を必要とする二つの独立した問題と見なされています。しかし、人間にタスクが割り当てられる限り、その指定方法に関わらず、効率的な問題解決に必要な追加情報を導き出すことができます。この能力の鍵は内省であり、人間は問題の内部モデルについて推論することで、タスクに関連す...
Original: arXiv:2602.07719v1 Announce Type: new Abstract: Reinforcement learning and classical planning are typically seen as two distinct problems, with differing formulations necessitating different solution...
ParisKV: 長コンテキストの LLM における高速かつ分布ドリフトに耐性のある KV Cache 検索
ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs
arXiv:2602.07721v1 発表タイプ：新 要約：長コンテキストの LLM 推論において KV Cache 検索は不可欠であるが、既存の方法は分布ドリフトと大規模化時の高いレイテンシーに直面している。当社は、衝突ベースのカンジデート選択、その後にクアンタイズされた内積再ランク付け推定器を伴う、分布に耐性のある GPU 元生 KV Cache 検索フレームワーク「ParisKV」を導入し...
Original: arXiv:2602.07721v1 Announce Type: new Abstract: KV-cache retrieval is essential for long-context LLM inference, yet existing methods struggle with distribution drift and high latency at scale. We int...
Adam には本当に必要吗？LLM における SGD とスパースな強化学習の驚くほど強いパフォーマンス
Do We Need Adam? Surprisingly Strong and Sparse Reinforcement Learning with SGD in LLMs
arXiv:2602.07729v1 Announce Type: new 摘要：強化学習（RL）、特に検証可能な報酬からの強化学習（RLVR）は、大型言語モデル（LLM）のトレーニングにおける不可欠な段階となり、現在のスケール拡大努力の主要な焦点となっています。しかし、近年の研究が示しているように RL とその異なる基盤とにもかかわらず、RL における最適化プラクティスは次のトークン予測の段階（...
Original: arXiv:2602.07729v1 Announce Type: new Abstract: Reinforcement learning (RL), particularly RL from verifiable reward (RLVR), has become a crucial phase of training large language models (LLMs) and a k...
Laplacian Keyboard：線形空間を超えて
The Laplacian Keyboard: Beyond the Linear Span
arXiv:2602.07730v1 Announce Type: new 要約：科学的分野にまたがり、シグナル処理から量子力学に至るまで、複雑なシステムの単純化のための基本的な基としてラプラシアン固有ベクトルが機能しています。強化学習（RL）において、これらの固有ベクトルは報酬関数の近似のための自然な基を提供しますが、その利用は通常、線形範囲にのみ制限されており、これは複雑な環境における表現能力...
Original: arXiv:2602.07730v1 Announce Type: new Abstract: Across scientific disciplines, Laplacian eigenvectors serve as a fundamental basis for simplifying complex systems, from signal processing to quantum m...
高密度分布における効率的適応データ分析
Efficient Adaptive Data Analysis over Dense Distributions
arXiv:2602.07732v1 Announce Type: new 要約: 現代のデータワークフローは本質的に適応的で、同じデータセットを繰り返しクエリすることで sequential 決定を-refine-および validation します。しかし、この適応性には過学習と無効な統計的推論をもたらす可能性があります。適応データ分析 (ADA) メカニズムはこの課題に対処しますが、計算効率...
Original: arXiv:2602.07732v1 Announce Type: new Abstract: Modern data workflows are inherently adaptive, repeatedly querying the same dataset to refine and validate sequential decisions, but such adaptivity ca...
TerraBind: 粗構造表現を用いた高速かつ高精度な結合親和性予測
TerraBind: Fast and Accurate Binding Affinity Prediction through Coarse Structural Representations
arXiv:2602.07735v1 発表タイプ：新 要約：私たちは、state-of-the-art 方法と比べて 26 倍もの高速かつ、結合親和性の予測精度を約 20% 向上させるタンパク質リガンド構造および結合親和性予測のための基礎モデル TerraBind を提案します。現在の構造に基づく創薬アプローチは、高価な全原子拡散を使用して 3 次元座標を生成するのを依存しており、これが推論のボ...
Original: arXiv:2602.07735v1 Announce Type: new Abstract: We present TerraBind, a foundation model for protein-ligand structure and binding affinity prediction that achieves 26-fold faster inference than state...
推論時への学習可能なチernoフ基準 (Learnable Chernoff Baselines)
Learnable Chernoff Baselines for Inference-Time Alignment
arXiv:2602.07738v1 発表タイプ: 新しい論文 要旨：我々は生成モデルにおける推論時報酬指向の対称化 (alignment) を研究する。既存の方法は、アーキテクチャに特化した適応や計算コストの高い推論手順に依存していることが多い。我々は、KL 正規化された報酬指向から生じる指数関数傾けされた核から効率的かつ近似したサンプリングを行うための手法として、学習可能なチernoフ基準 (...
Original: arXiv:2602.07738v1 Announce Type: new Abstract: We study inference-time reward-guided alignment for generative models. Existing methods often rely on either architecture-specific adaptations or compu...
Riemannian MeanFlow
arXiv:2602.07744v1 発表 タイプ：新規 要旨：拡散モデルとフローモデルは、リーマン多様体上の生成モデルの主要パラダイムとなり、タンパク質のバックボーン生成や DNA 配列設計などの成功した応用が挙げられています。しかし、これらの手法は推論時に数十乃至数百回のニューラルネットワーク評価を必要とし、大規模な科学的サンプリングワークフローにおいて計算ボトルネックとなることがあります。本...
Original: arXiv:2602.07744v1 Announce Type: new Abstract: Diffusion and flow models have become the dominant paradigm for generative modeling on Riemannian manifolds, with successful applications in protein ba...
要件を条件とするマルチ目標強化学習：分解された、多様性情報を駆使した政策最適化
Preference Conditioned Multi-Objective Reinforcement Learning: Decomposed, Diversity-Driven Policy Optimization
arXiv:2602.07764v1 発表タイプ：新 要約：マルチ目標強化学習（MORL）は、複数の（しばしば相互排斥的な）目標を均衡させる政策を学習することを目指します。単一の要件を条件とする政策が最も柔軟かつスケーラブルな解決策であるにもかかわらず、既存のアプローチは実運用において脆弱であり、多くの場合、完全なペーロ前（Pareto front）を再構築できかねます。我々は、この失敗が現在の...
Original: arXiv:2602.07764v1 Announce Type: new Abstract: Multi-objective reinforcement learning (MORL) seeks to learn policies that balance multiple, often conflicting objectives. Although a single preference...
MaD-Mix: Latent Space Coupling によるビジョン・ランゲージモデルの学習のためのマルチモーダルデータミックス
MaD-Mix: Multi-Modal Data Mixtures via Latent Space Coupling for Vision-Language Model Training
arXiv:2602.07790v1 発表タイプ：新規 要約：ビジョン・ランゲージモデル (VLMs) は、通常、多様なマルチモーダルドメインに対して訓練され、しかし現在の慣行は高コストな手動チューニングに依存しています。我々は、VLM 訓練用のマルチモーダルデータミックスを導くための確立的で計算効率の良いフレームワークである MaD-Mix を提案します。MaD-Mix は、データミックスをモー...
Original: arXiv:2602.07790v1 Announce Type: new Abstract: Vision-Language Models (VLMs) are typically trained on a diverse set of multi-modal domains, yet current practices rely on costly manual tuning. We pro...