3496 articles
医療データにおける線形構造保持を通じた高密度特徴学習
Dense Feature Learning via Linear Structure Preservation in Medical Data
arXiv:2602.07706v1 発表タイプ：新規 要約: 医療データ向けの深層学習モデルは、通常、判別方向に表現を圧縮することを促すタスク固有の目標関数を使用して訓練されます。これは個別の予測問題には効果的であるが、臨床データ豊かな構造を活用し尽くしておらず、学習された特徴の転移性、安定性、解釈性を制限します。本稿では、医療埋め込みの線形構造を明示的に形成する表現中心の枠組みである「高密度特...
Original: arXiv:2602.07706v1 Announce Type: new Abstract: Deep learning models for medical data are typically trained using task specific objectives that encourage representations to collapse onto a small numb...
アウト・オブ・ディストリビューションによる一般化を用いたグラフニューラルネットワークの説明品質の定量化
Quantifying Explanation Quality in Graph Neural Networks using Out-of-Distribution Generalization
arXiv:2602.07708v1 発表 タイプ：新規 摘要：グラフニューラルネットワーク（GNN）の事後説明の評価品質を評価することは依然として大きな課題である。近年では説明可能性手法の開発が進んでいるが、現在の評価指標（例：忠実性、疎性）は、説明が真の因果変数を識別しているか否かを評価することはできない。この問題を解決するために、われわれは説明一般化スコア（EGS）を提案する。これは GNN...
Original: arXiv:2602.07708v1 Announce Type: new Abstract: Evaluating the quality of post-hoc explanations for Graph Neural Networks (GNNs) remains a significant challenge. While recent years have seen an incre...
Optimizers に対する頑健なスケールリング則への道
Towards Robust Scaling Laws for Optimizers
arXiv:2602.07712v1 Announce Type: new 摘要: 大規模言語モデル (LLM) の事前学習の品質は、計算リソースの予算や最適化アルゴリズムの選択などの多様な要因に依存します。経験則的なスケールリング則は、モデルサイズやトレーニングデータが増加する際の損失を予測するために広く使用されていますが、既存のほぼすべての研究は最適化器（一般的に AdamW）を固定していま...
Original: arXiv:2602.07712v1 Announce Type: new Abstract: The quality of Large Language Model (LLM) pretraining depends on multiple factors, including the compute budget and the choice of optimization algorith...
Diffusion モデルにおける Zero-Shot Posterior Sampling の解析と誘導
Analyzing and Guiding Zero-Shot Posterior Sampling in Diffusion Models
arXiv:2602.07715v1 Announce Type: new 摘要：信号を劣化された測定から再生することは、科学と工学において長年にわたる課題でした。最近、ゼロショットに基づく拡散モデル手法が、事前知識を活用した後方サンプリング解を提供するためにそのような逆問題に応用されました。そのようなアルゴリズムは観測を推論を通じて統合しており、しばしば手動調整と直感的な方法に依存します。本研究...
Original: arXiv:2602.07715v1 Announce Type: new Abstract: Recovering a signal from its degraded measurements is a long standing challenge in science and engineering. Recently, zero-shot diffusion based methods...
モデル内省を用いた強化学習における効率的な計画立案
Efficient Planning in Reinforcement Learning via Model Introspection
arXiv:2602.07719v1 Announce Type: new Abstract: 強化学習と古典的計画立案は、通常は異なる形式を必要とする二つの独立した問題と見なされています。しかし、人間にタスクが割り当てられる限り、その指定方法に関わらず、効率的な問題解決に必要な追加情報を導き出すことができます。この能力の鍵は内省であり、人間は問題の内部モデルについて推論することで、タスクに関連す...
Original: arXiv:2602.07719v1 Announce Type: new Abstract: Reinforcement learning and classical planning are typically seen as two distinct problems, with differing formulations necessitating different solution...
ParisKV: 長コンテキストの LLM における高速かつ分布ドリフトに耐性のある KV Cache 検索
ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs
arXiv:2602.07721v1 発表タイプ：新 要約：長コンテキストの LLM 推論において KV Cache 検索は不可欠であるが、既存の方法は分布ドリフトと大規模化時の高いレイテンシーに直面している。当社は、衝突ベースのカンジデート選択、その後にクアンタイズされた内積再ランク付け推定器を伴う、分布に耐性のある GPU 元生 KV Cache 検索フレームワーク「ParisKV」を導入し...
Original: arXiv:2602.07721v1 Announce Type: new Abstract: KV-cache retrieval is essential for long-context LLM inference, yet existing methods struggle with distribution drift and high latency at scale. We int...
Adam には本当に必要吗？LLM における SGD とスパースな強化学習の驚くほど強いパフォーマンス
Do We Need Adam? Surprisingly Strong and Sparse Reinforcement Learning with SGD in LLMs
arXiv:2602.07729v1 Announce Type: new 摘要：強化学習（RL）、特に検証可能な報酬からの強化学習（RLVR）は、大型言語モデル（LLM）のトレーニングにおける不可欠な段階となり、現在のスケール拡大努力の主要な焦点となっています。しかし、近年の研究が示しているように RL とその異なる基盤とにもかかわらず、RL における最適化プラクティスは次のトークン予測の段階（...
Original: arXiv:2602.07729v1 Announce Type: new Abstract: Reinforcement learning (RL), particularly RL from verifiable reward (RLVR), has become a crucial phase of training large language models (LLMs) and a k...
Laplacian Keyboard：線形空間を超えて
The Laplacian Keyboard: Beyond the Linear Span
arXiv:2602.07730v1 Announce Type: new 要約：科学的分野にまたがり、シグナル処理から量子力学に至るまで、複雑なシステムの単純化のための基本的な基としてラプラシアン固有ベクトルが機能しています。強化学習（RL）において、これらの固有ベクトルは報酬関数の近似のための自然な基を提供しますが、その利用は通常、線形範囲にのみ制限されており、これは複雑な環境における表現能力...
Original: arXiv:2602.07730v1 Announce Type: new Abstract: Across scientific disciplines, Laplacian eigenvectors serve as a fundamental basis for simplifying complex systems, from signal processing to quantum m...
高密度分布における効率的適応データ分析
Efficient Adaptive Data Analysis over Dense Distributions
arXiv:2602.07732v1 Announce Type: new 要約: 現代のデータワークフローは本質的に適応的で、同じデータセットを繰り返しクエリすることで sequential 決定を-refine-および validation します。しかし、この適応性には過学習と無効な統計的推論をもたらす可能性があります。適応データ分析 (ADA) メカニズムはこの課題に対処しますが、計算効率...
Original: arXiv:2602.07732v1 Announce Type: new Abstract: Modern data workflows are inherently adaptive, repeatedly querying the same dataset to refine and validate sequential decisions, but such adaptivity ca...
TerraBind: 粗構造表現を用いた高速かつ高精度な結合親和性予測
TerraBind: Fast and Accurate Binding Affinity Prediction through Coarse Structural Representations
arXiv:2602.07735v1 発表タイプ：新 要約：私たちは、state-of-the-art 方法と比べて 26 倍もの高速かつ、結合親和性の予測精度を約 20% 向上させるタンパク質リガンド構造および結合親和性予測のための基礎モデル TerraBind を提案します。現在の構造に基づく創薬アプローチは、高価な全原子拡散を使用して 3 次元座標を生成するのを依存しており、これが推論のボ...
Original: arXiv:2602.07735v1 Announce Type: new Abstract: We present TerraBind, a foundation model for protein-ligand structure and binding affinity prediction that achieves 26-fold faster inference than state...
推論時への学習可能なチernoフ基準 (Learnable Chernoff Baselines)
Learnable Chernoff Baselines for Inference-Time Alignment
arXiv:2602.07738v1 発表タイプ: 新しい論文 要旨：我々は生成モデルにおける推論時報酬指向の対称化 (alignment) を研究する。既存の方法は、アーキテクチャに特化した適応や計算コストの高い推論手順に依存していることが多い。我々は、KL 正規化された報酬指向から生じる指数関数傾けされた核から効率的かつ近似したサンプリングを行うための手法として、学習可能なチernoフ基準 (...
Original: arXiv:2602.07738v1 Announce Type: new Abstract: We study inference-time reward-guided alignment for generative models. Existing methods often rely on either architecture-specific adaptations or compu...
Riemannian MeanFlow
arXiv:2602.07744v1 発表 タイプ：新規 要旨：拡散モデルとフローモデルは、リーマン多様体上の生成モデルの主要パラダイムとなり、タンパク質のバックボーン生成や DNA 配列設計などの成功した応用が挙げられています。しかし、これらの手法は推論時に数十乃至数百回のニューラルネットワーク評価を必要とし、大規模な科学的サンプリングワークフローにおいて計算ボトルネックとなることがあります。本...
Original: arXiv:2602.07744v1 Announce Type: new Abstract: Diffusion and flow models have become the dominant paradigm for generative modeling on Riemannian manifolds, with successful applications in protein ba...
要件を条件とするマルチ目標強化学習：分解された、多様性情報を駆使した政策最適化
Preference Conditioned Multi-Objective Reinforcement Learning: Decomposed, Diversity-Driven Policy Optimization
arXiv:2602.07764v1 発表タイプ：新 要約：マルチ目標強化学習（MORL）は、複数の（しばしば相互排斥的な）目標を均衡させる政策を学習することを目指します。単一の要件を条件とする政策が最も柔軟かつスケーラブルな解決策であるにもかかわらず、既存のアプローチは実運用において脆弱であり、多くの場合、完全なペーロ前（Pareto front）を再構築できかねます。我々は、この失敗が現在の...
Original: arXiv:2602.07764v1 Announce Type: new Abstract: Multi-objective reinforcement learning (MORL) seeks to learn policies that balance multiple, often conflicting objectives. Although a single preference...
MaD-Mix: Latent Space Coupling によるビジョン・ランゲージモデルの学習のためのマルチモーダルデータミックス
MaD-Mix: Multi-Modal Data Mixtures via Latent Space Coupling for Vision-Language Model Training
arXiv:2602.07790v1 発表タイプ：新規 要約：ビジョン・ランゲージモデル (VLMs) は、通常、多様なマルチモーダルドメインに対して訓練され、しかし現在の慣行は高コストな手動チューニングに依存しています。我々は、VLM 訓練用のマルチモーダルデータミックスを導くための確立的で計算効率の良いフレームワークである MaD-Mix を提案します。MaD-Mix は、データミックスをモー...
Original: arXiv:2602.07790v1 Announce Type: new Abstract: Vision-Language Models (VLMs) are typically trained on a diverse set of multi-modal domains, yet current practices rely on costly manual tuning. We pro...
CausalTAD: Large Language Model への因果知見の注入によるテーブルデータの異常検出
CausalTAD: Injecting Causal Knowledge into Large Language Models for Tabular Anomaly Detection
arXiv:2602.07798v1 Announce Type: new 要約：テーブルデータの異常検出は、クレジットカード詐欺検出など多くの現実世界のアプリケーションにとって不可欠です。Large Language Models（LLMs）の急速な進歩により、テーブルデータの異常検出における最先端のパフォーマンスは、テーブルデータをテキストに変換して LLM 进行微调（fine-tuning）...
Original: arXiv:2602.07798v1 Announce Type: new Abstract: Detecting anomalies in tabular data is critical for many real-world applications, such as credit card fraud detection. With the rapid advancements in l...
公平を考慮した報酬最適化
Fairness Aware Reward Optimization
arXiv:2602.07799v1 発表タイプ：新しい 摘要：人間の好意データにおける人口統計学的バイアスが、報酬モデルを通じて整った大規模言語モデル (LLM) へ系統的な不公平を伝播させる。我々は、人口統計学的公平性、等価な機会、または反事象的公平性の制約の下で報酬モデルを訓練するプロセシング内のフレームワーク「Faro (Fairness Aware Reward Optimization...
Original: arXiv:2602.07799v1 Announce Type: new Abstract: Demographic skews in human preference data propagate systematic unfairness through reward models into aligned LLMs. We introduce Fairness Aware Reward ...
Deep Learning と Transformer を用いた行列関数の近似化
Approximating Matrix Functions with Deep Neural Networks and Transformers
arXiv:2602.07800v1 Announce Type: new Abstract: Transformer は自然言語処理に革命をもたらしましたが、数値計算への適用についてはあまり注目されていません。私たちは、ニューラルネットワーク（特に Transformer）を用いた行列関数の近似について研究します。ここで扱う行列関数は、スカラー関数を行列に変換するものです。我々の焦点は、同じ次数...
Original: arXiv:2602.07800v1 Announce Type: new Abstract: Transformers have revolutionized natural language processing, but their use for numerical computation has received less attention. We study the approxi...
効率的な表現は、制御可能な表現である
Efficient Representations are Controllable Representations
arXiv:2602.07828v1 Announce Type: new 要約：モデルのアクティベーションに解釈可能で制御可能な特徴をインストールするための最も暴力的な方法は何か？LLM が内部で概念をどのように表現するかを制御するには、通常、モデルの既存の特徴幾何学的構造を最初に特定し、次に介入させるための洗練された手法が必要となります。しかし、私たちはこれをすべて迂回させます。 私たちは、単...
Original: arXiv:2602.07828v1 Announce Type: new Abstract: What is the most brute-force way to install interpretable, controllable features into a model's activations? Controlling how LLMs internally represent ...
rePIRL: 逆强化学習を活用した LL M の PR M 学習
rePIRL: Learn PRM with Inverse RL for LLM Reasoning
arXiv:2602.07832v1 Announce Type: new 摘要: プロセス報酬は、深層強化学習における訓練効率の向上、分散の低減、そして報酬ハッキングの防止に広く使用されています。LLM 推理において、既存の研究は、エキスパート政策の有無に関わらず、効果的なプロセス報酬モデル (PRM) を学習するための様々な解決策を模索しています。しかし、既存の方法は、エキスパート政策に関す...
Original: arXiv:2602.07832v1 Announce Type: new Abstract: Process rewards have been widely used in deep reinforcement learning to improve training efficiency, reduce variance, and prevent reward hacking. In LL...
記述可能な解析 Calabi-Yau 度規に関する記号精馏：5 つの項の解析モデルはニューラル近似の精度を維持しつつ、3,000 分の 1 のパラメータで記述可能なモデルを生成する
Interpretable Analytic Calabi-Yau Metrics via Symbolic Distillation
Calabi–Yau 多様体は弦理論において不可欠であるが、計算可能な度規を導出することは極めて困難である。本稿では、記号回帰技術がニューラル近似を簡潔かつ記述可能な式に精馏（distill）できることを示した。我々の提案した 5 項の表現は、ニューラルネットワークの精度 ($R^2 = 0.9994$) にほぼ一致する一方で、3,000 分の 1 の少ないパラメータで記述可能である。複数のシード...
Original: arXiv:2602.07834v1 Announce Type: new Abstract: Calabi--Yau manifolds are essential for string theory but require computing intractable metrics. Here we show that symbolic regression can distill neur...