3496 articles
効率的なトランスフォーマーアーキテクチャのためのハイブリッド双路直交変換
Hybrid Dual-Path Linear Transformations for Efficient Transformer Architectures
arXiv:2602.07070v1 発表 タイプ：新規 要旨：標準的なトランスフォーマーアーキテクチャは、密集した直交変換に大きく依存しており、機能プロジェクションを単一、フルランクの操作とみなしています。我々は、この表現は非効率的であるとともに、局所的な機能保持と世界的な文脈統合を区別する構造上の归纳バイアスを欠くものであると主張します。この問題に対処するため、我々はアフィン変換を二つのトポロ...
Original: arXiv:2602.07070v1 Announce Type: new Abstract: Standard Transformer architectures rely heavily on dense linear transformations, treating feature projection as a monolithic, full-rank operation. We a...
The Optimal Token Baseline: Variance Reduction for Long-Horizon LLM-RL
arXiv:2602.07078v1 宣言タイプ：新規 要約：大規模言語モデル（LLM）のための強化学習（RL）は、グラディエント分散の増大による長い時限タスクにおけるトレーニング崩壊に苦しんでいます。これを緩和するために、アドバンテージ計算のための基準は一般的に導入されていますが、従来の値モデルは最適化が困難であり、標準的なグループベースの基準はシーケンスの多様性を無視しています。古典的な最適な...
Original: arXiv:2602.07078v1 Announce Type: new Abstract: Reinforcement Learning (RL) for Large Language Models (LLMs) often suffers from training collapse in long-horizon tasks due to exploding gradient varia...
非剛性医用画像の登録に向けた注意機制を駆使した新枠組み
Attention-Driven Framework for Non-Rigid Medical Image Registration
arXiv:2602.07088v1 Announce Type: new 要約：変形医療画像の登録は、疾患診断、治療計画、画像ガイダンス介入など医療画像解析における基本的なタスクです。深層学習に基づく登録手法が著しい進歩を見せつつあるものの、大変形条件下で画像を正確に整合させながら解剖学的な妥当性を維持することはまだ困難です。本稿では、注意機制を活用して登録プロセスを導く非剛性医用画像登録向けの...
Original: arXiv:2602.07088v1 Announce Type: new Abstract: Deformable medical image registration is a fundamental task in medical image analysis with applications in disease diagnosis, treatment planning, and i...
つながりの発見：マルチテーブルシステマティックデータの文脈におけるメンバーシップ推論攻撃
Finding Connections: Membership Inference Attacks for the Multi-Table Synthetic Data Setting
arXiv:2602.07126v1 発表タイプ：新しい 要旨：システマティックな行列データは、プライバシーを考慮したデータ共有を可能にするため注目を集めています。単一テーブルのシステマティック生成において、データが行やアイテムレベルでモデル化される点で決定的な進歩が遂げられましたが、ほとんどの実世界のデータは関係データベース上に存在し、ユーザーの情報は相互に関連付けられた複数のテーブルのアイテム...
Original: arXiv:2602.07126v1 Announce Type: new Abstract: Synthetic tabular data has gained attention for enabling privacy-preserving data sharing. While substantial progress has been made in single-table synt...
Landscaper: マルチ次元トポロジカル解析を通じた損失風景の理解
Landscaper: Understanding Loss Landscapes Through Multi-Dimensional Topological Analysis
arXiv:2602.07135v1 Announce Type: new Abstract: 損失風景（loss landscapes）は、ニューラルネットワークの最適化と一般化を理解するための強力なツールですが、従来の低次元解析では複雑なトポロジカル特徴を捉えきれない場合があります。われわれは、任意次元の損失風景解析のためのオープンソース Python パッケージである Landscaper ...
Original: arXiv:2602.07135v1 Announce Type: new Abstract: Loss landscapes are a powerful tool for understanding neural network optimization and generalization, yet traditional low-dimensional analyses often mi...
Featured Reproducing Kernel Banach Spaces の学習および神経ネットワークへの適用
Featured Reproducing Kernel Banach Spaces for Learning and Neural Networks
arXiv:2602.07141v1 発表型: 新しい 要約: 再構成核ヒルベルト空間は、古典的な代数的定理を通じて有有限次元解を認める正規化および補間問題を含む、核ベースの学習の基礎的な枠組みを提供します。しかし、多くの現代の学習モデルは、非二次 norma を備えた固定構造の神経ネットワークを含む、この枠組みを超えた非ヒルベルト幾何自然に生じ、固定構造の神経ネットワークは、これらの再構成核バ...
Original: arXiv:2602.07141v1 Announce Type: new Abstract: Reproducing kernel Hilbert spaces provide a foundational framework for kernel-based learning, where regularization and interpolation problems admit fin...
BONSAI：自然な簡素性と解釈可能性を備えたベイズ最適化
BONSAI: Bayesian Optimization with Natural Simplicity and Interpretability
arXiv:2602.07144v1 発表タイプ：新 要約: ベイズ最適化（Bayesian optimization, BO）は、ブラックボックス関数の効率的な最適化を可能にする人気のある手法です。多くのアプリケーションでは、調整されるパラメータには細心の努力で設計されたデフォルト構成が用意されており、実務家はそのデフォルトから必要に応じてのみ変更を希望します。しかし、従来の BO 手法はデフ...
Original: arXiv:2602.07144v1 Announce Type: new Abstract: Bayesian optimization (BO) is a popular technique for sample-efficient optimization of black-box functions. In many applications, the parameters being ...
凸優位性と深層学習 I: 損失と学習率のスケールリング法則
Convex Dominance in Deep Learning I: A Scaling Law of Loss and Learning Rate
arXiv:2602.07145v1 発表タイプ: 新しい 要約: 深層学習は非凸の損失ランドスケープを持ち、その最適化ダイナミクスの解析や制御は困難である。それでも、様々なタスク、モデル、最適化器、ハイパーパラメータにおいて、そのダイナミクスは実証的に凸的特徴を示すことが多い。本研究では、深層学習における凸性とリプシッツ連続性の適用性を検証し、学習率スケジューリングを通じて損失ダイナミクスを正確...
Original: arXiv:2602.07145v1 Announce Type: new Abstract: Deep learning has non-convex loss landscape and its optimization dynamics is hard to analyze or control. Nevertheless, the dynamics can be empirically ...
Agnent におけるランダム性の考察
On Randomness in Agentic Evals
arXiv:2602.07150v1 Announce Type: new 要約: エージェントシステムは、タスクを解決するために環境と相互作用するベンチマークで評価されます。多くの論文は、この評価が信頼性の高いパフォーマンス推定を与けると仮定して、単一のランニングによる pass@1 スコアを報告しています。我々は、3 つのモデルと 2 つのスケファールドをまたぎ 6 万のエージェント軌跡を S...
Original: arXiv:2602.07150v1 Announce Type: new Abstract: Agentic systems are evaluated on benchmarks where agents interact with environments to solve tasks. Most papers report a pass@1 score computed from a s...
Pooling を超えて: データ非均質性における頑健な一般化のためのマッチング
Beyond Pooling: Matching for Robust Generalization under Data Heterogeneity
arXiv:2602.07154v1 Announce Type: new 要約: 領域をまたいで非均質なデータセットをプールすることは表現学習における一般的な戦略ですが、単純なプーリングは分布的不均衡を拡大させ、特にゼロショット一般化が求められる設定ではバイアスを有する推定量を導く可能性があります。我々は、適応中心に対して相対的にサンプルを選択し、逐次的に表現分布を洗練させるマッチングフレームワ...
Original: arXiv:2602.07154v1 Announce Type: new Abstract: Pooling heterogeneous datasets across domains is a common strategy in representation learning, but naive pooling can amplify distributional asymmetries...
コンテキスト内の非線形システムの学習：人工データから実世界のモーター制御へ
Learning Nonlinear Systems In-Context: From Synthetic Data to Real-World Motor Control
arXiv:2602.07173v1 Announce Type: new 摘要: LLM はコンテキスト内学習 (ICL) 能力で優れているが、信号処理システムにはまだ適用されていません。その設計に触発され、私たちは初めて、古典的な PI 制御や物理学に基づく方法が非線形性や複雑な負荷条件で課題を抱えるという重要なタスクにおいて、トランスフォーマーモデルを用いた ICL を提案しました。信号表現...
Original: arXiv:2602.07173v1 Announce Type: new Abstract: LLMs have shown strong in-context learning (ICL) abilities, but have not yet been extended to signal processing systems. Inspired by their design, we h...
Latent Target Score Matching: Simulation-Based Inference への応用
Latent Target Score Matching, with an application to Simulation-Based Inference
denoising score matching (DSM) を用いた拡散モデルの学習では、ノイズレベルが低くても高方差が生じる可能性があります。clean data scores が利用可能な場合、Target Score Matching (TSM) はこれを緩和し、低方差の目標関数を提供します。多くの応用において、隠れ変数の存在により clean scores にアクセスすることができず、単...
Original: arXiv:2602.07189v1 Announce Type: new Abstract: Denoising score matching (DSM) for training diffusion models may suffer from high variance at low noise levels. Target Score Matching (TSM) mitigates t...
深層物質ネットワークの体系的な性能評価：マルチスケール物質モデル化に向けた多様体のモデリング
Systematic Performance Assessment of Deep Material Networks for Multiscale Material Modeling
arXiv:2602.07192v1 Announce Type: new 要約: 深層物質ネットワーク (DMN) は、微視力学的原理をアーキテクチャに埋め込む構造保持型の、機械的機械学習モデルであり、複雑な微視構造のマルチスケールモデル化における強力な外挿能力と大きな加速可能性をもたらします。これらのモデルの主要な利点は、線形弾性データのみでトレーニングされ、それがオンライン予測において非線形...
Original: arXiv:2602.07192v1 Announce Type: new Abstract: Deep Material Networks (DMNs) are structure-preserving, mechanistic machine learning models that embed micromechanical principles into their architectu...
リスク感受性指数行動評価機
Risk-Sensitive Exponential Actor Critic
arXiv:2602.07202v1 Announce Type: new 概要：モデルフリーの深層強化学習（RL）アルゴリズムは、多様な挑戦的なタスクにおいて多大な成功を収めていますが、これらを現実世界のアプリケーションに適用した際、安全性に関する懸念が残っており、リスク意識的なエージェントを必要としています。このようなリスク意識的なエージェントを学習するための一般的な効用関数はエントロピックリ...
Original: arXiv:2602.07202v1 Announce Type: new Abstract: Model-free deep reinforcement learning (RL) algorithms have achieved tremendous success on a range of challenging tasks. However, safety concerns remai...
Exactly Computing do-Shapley Values
Structural Causal Models (SCM) は、自然科学における複雑なダイナミックスを記述するための強力な枠組みです。SCM を解釈する、特にエレガントなアプローチが do-Shapley 方法です。これは、指数関数的に多くの介入において $d$ 変数の平均効果を量化するゲーム理論的な手法です。Shapley 値と同様に、do-Shapley 値を計算するには一般的に指数関数的な...
Original: arXiv:2602.07203v1 Announce Type: new Abstract: Structural Causal Models (SCM) are a powerful framework for describing complicated dynamics across the natural sciences. A particularly elegant way of ...
無知マルコフゲームへのオンライン学習：実驗的ナッシュバリュー後悔と非定常性への適応
Online Learning for Uninformed Markov Games: Empirical Nash-Value Regret and Non-Stationarity Adaptation
arXiv:2602.07205v1 Announce Type: new 要約：ここでは、対局者の行動やポリシーが観測されない無知マルコフゲームにおけるオンライン学習を研究します。この設定において、Tian ら (2021) は、外部後悔をゼロにすることを達成するにはエピソード長さ $H$ に対して指数関数的な依存性を負うことが不可能であることを示しました。その後、彼らは弱い概念であるナッシュ...
Original: arXiv:2602.07205v1 Announce Type: new Abstract: We study online learning in two-player uninformed Markov games, where the opponent's actions and policies are unobserved. In this setting, Tian et al. ...
DSL：コンペティション意識的なスケーリングを用いたソフトマックス推奨システムにおける理解と改善
DSL: Understanding and Improving Softmax Recommender Systems with Competition-Aware Scaling
arXiv:2602.07206v1 Announce Type: new Abstract: ソフトマックス損失 (Softmax Loss, SL) は、その優れた性能、頑健性、そして公平性を示したことで、推奨システム (RS) において次第に採用されるようになっています。しかし、暗黙的なフィードバックにおいて、単一のグローバルな温度と均等な負例の扱いが、サンプリングされたセットに異なる程度...
Original: arXiv:2602.07206v1 Announce Type: new Abstract: Softmax Loss (SL) is being increasingly adopted for recommender systems (RS) as it has demonstrated better performance, robustness and fairness. Yet in...
アダプティブ検索は LLM の推論を助けるが、実際には使用されない限りほとんど意味がない
Adaptive Retrieval helps Reasoning in LLMs -- but mostly if it's not used
arXiv:2602.07213v1 Announce Type: new この論文では、生成モデルの性能向上のための基本原理を探索します。それは、検索を動的なインコンテキスト学習の形態と見なすことです。LLM エージェントが、推論の過程で外部知識ベースをクエリするタイミングを能動的に決定するアダプティブ検索拡張アーキテクチャを実験的に検証しました。これを、標準的な Chain-of-Thoug...
Original: arXiv:2602.07213v1 Announce Type: new Abstract: Large Language Models (LLMs) often falter in complex reasoning tasks due to their static, parametric knowledge, leading to hallucinations and poor perf...
Neural TSP 表現を調べる：推定型意思決定支援のための応用可能性
Probing Neural TSP Representations for Prescriptive Decision Support
arXiv:2602.07216v1 発表 タイプ：新しい 摘要：神経組合せ最適化（NCO）の分野では、旅行商問題（TSP）などの NP 困難問題を解くために神経ポリシーが訓練されています。私たちは、良いルートを生成するだけでなく、訓練された TSP ソルバーが他の最適化に関連する目的に転移可能な内部表現を学習するか、という点について検討します。これは他の領域からの転移学習の精神に合致します。我...
Original: arXiv:2602.07216v1 Announce Type: new Abstract: The field of neural combinatorial optimization (NCO) trains neural policies to solve NP-hard problems such as the traveling salesperson problem (TSP). ...
協調・効率的な微調整：タスク類似性の活用
Collaborative and Efficient Fine-tuning: Leveraging Task Similarity
arXiv:2602.07218v1 発表 タイプ：新規 摘要：適応性は大規模モデルの中核的な機能の一つと見なされており、これにより見えない下流タスクに効果的に適応することが可能になっています。LoRA などのパラメータ効率的な微調整手法は、ラベル付きの高品質かつ通常は限られたタスクデータを使用して、大規模な大規模モデルを効率的に適応させるのを支えています。大規模モデルの微調整におけるデータ不足...
Original: arXiv:2602.07218v1 Announce Type: new Abstract: Adaptability has been regarded as a central feature in the foundation models, enabling them to effectively acclimate to unseen downstream tasks. Parame...