3496 articles
Mutual information and task-relevant latent dimensionality
arXiv:2602.08105v1 Announce Type: new Abstract: Predictive目的に必要な潜空間の次元、すなわちタスク関連次元の推定は、広く科学的応用がある難解な未解決課題です。私たちはこれを情報ボタleneckの問題として提起し、予測者と予測された観測を圧縮するのに十分な埋め込みボタleneck次元とは何か、その相互情報量（MI）を保持しつつ問いました。これ...
Original: arXiv:2602.08105v1 Announce Type: new Abstract: Estimating the dimensionality of the latent representation needed for prediction -- the task-relevant dimension -- is a difficult, largely unsolved pro...
Bregman 調整されたディープネットワークを用いたオンラインベイズ不均衡学習
Online Bayesian Imbalanced Learning with Bregman-Calibrated Deep Networks
論文情報：arXiv:2602.08128v1 発表タイプ：新しい 要約：クラス的不均衡は、少数クラスにおいて標準分類器が性能を劇的に低下させるという機械学習における基本的な課題の一つです。既存のアプローチは、トレーニング段階での再サンプリングやコスト感積学習を通じて不均衡に対処していますが、実運用時にクラス分布が変化した場合、これは一般的な実世界アプリケーション（例：不正検出、医療診断、異常検出...
Original: arXiv:2602.08128v1 Announce Type: new Abstract: Class imbalance remains a fundamental challenge in machine learning, where standard classifiers exhibit severe performance degradation in minority clas...
Variance-Gated Ensembles: An Epistemic-Aware Framework for Uncertainty Estimation
arXiv:2602.08142v1 Announce Type: new Abstract: 機械学習アプリケーションでは、サンプルあたりの確実な不確実性の推定が速く不可欠です。一般的なアプローチとして、ベイズ法や近似法から得られる予測分布を使用し、不確実性を確率（データに関連する）と認識的（モデルに関連する）成分に加法分解することです。しかし、加法分解は最近疑問視されており、有限アンサンブルサ...
Original: arXiv:2602.08142v1 Announce Type: new Abstract: Machine learning applications require fast and reliable per-sample uncertainty estimation. A common approach is to use predictive distributions from Ba...
NormalHedge に対する二階の悔意境界
A second order regret bound for NormalHedge
arXiv:2602.08151v1 発表タイプ：新規 要約：我々は、"容易"な列の予測における専門家アディバイスの問題を検討する。$V_T > \log N$ の場合において、NormalHedge のバリアントが二階の $\epsilon$-分位悔意境界 $O\big(\sqrt{V_T \log(V_T/\epsilon)}\big)$ を享受することを示す。ここで、$V_T$ はアルゴリズ...
Original: arXiv:2602.08151v1 Announce Type: new Abstract: We consider the problem of prediction with expert advice for ``easy'' sequences. We show that a variant of NormalHedge enjoys a second-order $\epsilon$...
The Confidence Manifold: 言語モデルにおける正確性の表現の幾何学的構造
The Confidence Manifold: Geometric Structure of Correctness Representations in Language Models
arXiv:2602.08159v1 Announce Type: new 摘要：言語モデルが「オーストラリアの首都はシドニーである」と主張した場合、それが間違っていることを知っていますか？5 つのアーキテクチャ族からなる 9 モデルの正確性表現の幾何학을特徴付けます。その構造は単純です：識別信号は 3〜8 次元を占め、次元数が増加すると性能が低下し、非線形クラシファイヤーは線形分離を超えません。...
Original: arXiv:2602.08159v1 Announce Type: new Abstract: When a language model asserts that "the capital of Australia is Sydney," does it know this is wrong? We characterize the geometry of correctness repres...
Spherical Steering: Geometry-Aware Activation Rotation for Language Models
arXiv:2602.08169v1 発表タイプ：new 要約：推論時のステアリングは、リトレーニングのコストをかけずに言語モデル（LM）を制御するための有望なパラダイムとして登場しました。しかし、標準的なアプローチは通常、非代数的な操作であるアクティベーションの加算に依存しており、これは必須的にハIDDEN レプリケーションの大きさを変化させる幾何学的な操作です。これは、レプリケーションの崩壊や...
Original: arXiv:2602.08169v1 Announce Type: new Abstract: Inference-time steering has emerged as a promising paradigm for controlling language models (LMs) without the cost of retraining. However, standard app...
治療個別化を目的とした臨床試験における因果機械学習枠組：溃疡性大腸炎への応用
A Causal Machine Learning Framework for Treatment Personalization in Clinical Trials: Application to Ulcerative Colitis
arXiv:2602.08171v1 Announce Type: new 摘要：ランダム化比較試験は平均治療効果を推定しますが、治療反応の多様性は個別化アプローチの動機となります。重要な問いは、統計的に検出可能な多様性が治療決定の改善に転換するか、というものです。これは相互排斥的な回答をもたらす可能性のある独立した問いです。私たちは、各問いを個別に評価するモジュラールな因果機械学習枠組を提示しま...
Original: arXiv:2602.08171v1 Announce Type: new Abstract: Randomized controlled trials estimate average treatment effects, but treatment response heterogeneity motivates personalized approaches. A critical que...
NANSDE-net: 時間系列の記憶特性を持つ生成に特化したニューラル SDE フレームワーク
Nansde-net: A neural sde framework for generating time series with memory
arXiv:2602.08182v1 Announce Type: new 要約: 長記憶および短記憶特性を持つ時間系列モデル化は、多くの科学および工学分野において基本的な課題となっています。分数ブラウン運動はこのような記憶効果を捉えるノイズ源として広く利用されてきましたが、イート calculus との互換性の欠如により、ニューラル随机微分方程式（SDE）フレームワークにおける適用性に制限があ...
Original: arXiv:2602.08182v1 Announce Type: new Abstract: Modeling time series with long- or short-memory characteristics is a fundamental challenge in many scientific and engineering domains. While fractional...
コードにおける夢：オープンエンド世界の課題学習に向けた方法
Dreaming in Code for Curriculum Learning in Open-Ended Worlds
arXiv:2602.08194v1 Announce Type: new 要約：オープンエンド学習は、知性を絶え間ない環境との相互作用から生み出されるものと捉えます。最近、基礎モデルを用いて多様な環境をプログラム生成する方法が進んでいますが、これらは孤立した行動の発見に焦点を当てる傾向があり、持続的な進化の調整に不足しています。複雑なオープンエンド世界では、可能な課題の巨大な組み合わせ空間ゆえに...
Original: arXiv:2602.08194v1 Announce Type: new Abstract: Open-ended learning frames intelligence as emerging from continual interaction with an ever-expanding space of environments. While recent advances have...
テンサール時系列の解釈可能なダイナミックネットワークモデリングにおける Kronecker 時変図式 Lasso
Interpretable Dynamic Network Modeling of Tensor Time Series via Kronecker Time-Varying Graphical Lasso
arXiv:2602.08197v1 Announce Type: new 摘要：ウェブサービスの急速な発展により、金融、ヘルスケア、オンラインプラットフォームなどの様々な分野で膨大な量の時系列データが生成・蓄積されています。このようなデータは複数の変数が互いに相互作用しながら共進化することが多く、変数間の時変相依属性（すなわちダイナミックネットワーク構造）の推定が正確なモデリングのために不可欠...
Original: arXiv:2602.08197v1 Announce Type: new Abstract: With the rapid development of web services, large amounts of time series data are generated and accumulated across various domains such as finance, hea...
CADO: 画像解像度（熱図ベース）の組み合わせ最適化ソルバーにおける、模倣からコスト最小化へ
CADO: From Imitation to Cost Minimization for Heatmap-based Solvers in Combinatorial Optimization
arXiv:2602.08210v1 Announce Type: new 要約：画像解像度（熱図ベース）の組み合わせ最適化（CO）ソルバーが有望なパラダイムとして台頭しています。しかし、我々は支配的な監督学習（SL）のトレーニングパラダイムが根本的な目的の不一致を抱えていると主張します：模倣損失（例：クロスエントロピー）の最小化は、解のコスト最小化を保証するものではありません。我々はこの不一致を...
Original: arXiv:2602.08210v1 Announce Type: new Abstract: Heatmap-based solvers have emerged as a promising paradigm for Combinatorial Optimization (CO). However, we argue that the dominant Supervised Learning...
DrugR: 大規模言語モデルによる明示的推論を通じた分子医薬の最適化
DrugR: Optimizing Molecular Drugs through LLM-based Explicit Reasoning
arXiv:2602.08213v1 発表 タイプ：新規 要約：分子生成と最適化は化学分野における基本的かつ重要なタスクです。高度な知識蓄積力と対話機能を持った、特に大規模言語モデル（LLM）を含む知性の道具の急成長により、この分野に新しいパラダイムが提供されています。しかし、LLM に内在する課題は、分子構造と薬理学的性質の複雑な明示的関係の欠如、および対応するラベル付きデータが不足しているとい...
Original: arXiv:2602.08213v1 Announce Type: new Abstract: Molecule generation and optimization is a fundamental task in chemical domain. The rapid development of intelligent tools, especially large language mo...
分布フリーな頑健な関数空間の「予測してから最適化」手法
Distribution-Free Robust Functional Predict-Then-Optimize
PDE 解法のニューラル・オペレーター・サロゲートモデルは、繰り返し評価の必要性に伴い意思決定タスクで増大して使われています。これらの手法は、数値解法に比べて計算コストがはるかに低い反面、予測への校正された不確実性の概念を提供できません。現在の方法は通常、アンサンブルやベイズの後方推測でこの欠如に対処しており、これらは実践では成り立たない分布の仮定を必要としたり、実用的な拡張性に欠けたりして適用範...
Original: arXiv:2602.08215v1 Announce Type: new Abstract: The solution of PDEs in decision-making tasks is increasingly being undertaken with the help of neural operator surrogate models due to the need for re...
Transformers の熱力学的同相性：注意力ダイナミクスへのラグランジアンアプローチ
Thermodynamic Isomorphism of Transformers: A Lagrangian Approach to Attention Dynamics
arXiv:2602.08216v1 Announce Type: new 要約: Transformer アーキテクチャーは人工知能を革命化しましたが、その下敷きのメカニズムは依然として経験則的にであり、統一的な物理理論に欠けています。この研究では、我々は最小作用の原理によって支配される物理システムとして注意力機構を取り扱い、アルゴリズム的な最適化から脱却した情報ダイナミクスの第一原理の枠組み...
Original: arXiv:2602.08216v1 Announce Type: new Abstract: Although the Transformer architecture has revolutionized artificial intelligence, its underlying mechanisms remain largely heuristic and lack a unified...
スパarsity 意識的なモデル統合のための進化
Sparsity-Aware Evolution for Model Merging
arXiv:2602.08218v1 Announce Type: new 抽象：私たちは、スパarsity 意識的な進化 (SAE) フレームワークを提案します。このフレームワークは、反復的な剪定と統合サイクルを「新たな変異演算子」として使用します。我々は、スコア関数にスパarsity の制約を組み込み、進化的プロセスをよりスパarsity が高いモデルを好むよう導きます。また、他の従来のパフ...
Original: arXiv:2602.08218v1 Announce Type: new Abstract: We propose a sparsity-aware evolutionary (SAE) framework for model merging that involves iterative pruning-merging cycles to act as a novel mutation op...
SkillRL: 再帰的なスキル拡張強化学習によるアジェントの進化
SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning
arXiv:2602.08234v1 Announce Type: new 摘要：大規模言語モデル（LLM）アジェントは複雑なタスクにおいて驚くべき成果を示していますが、それらはしばしば孤立して動作し、過去の経験から学習することができていません。既存のメモリーベースの方法は主に生の軌道データを記憶し、それがしばしば冗長かつノイズに満ちており、これによりアジェントが一般化のために不可欠な高レベルの再...
Original: arXiv:2602.08234v1 Announce Type: new Abstract: Large Language Model (LLM) agents have shown stunning results in complex tasks, yet they often operate in isolation, failing to learn from past experie...
Linearization Explains Fine-Tuning in Large Language Models
arXiv:2602.08239v1 Announce Type: new 要約：パラメータ効率的な微調整 (PEFT) は、大型モデルをスケーラブルかつリソース効率よく適応させるために策められた人気のある技術のクラスです。しかし、それらの学習性能と一般化を支配するメカニズムは未だに十分に探索されていません。本論文では、線形化の視点を通じてそのような微調整についていくつかの洞察を提供します。微調整...
Original: arXiv:2602.08239v1 Announce Type: new Abstract: Parameter-Efficient Fine-Tuning (PEFT) is a popular class of techniques that strive to adapt large models in a scalable and resource-efficient manner. ...
コンテキスト上で学習し、選択によって導かれる：トランスフォーマーを用いた報酬フリーの強化学習パラダイム
Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers
arXiv:2602.08244v1 Announce Type: new 要旨: コンテキスト上で強化学习（ICRL）は、トランスフォーマーモデル（TMs）のコンテキスト上での学習能力を活用し、パラメータ更新なしに見知らぬ順次決定タスクに効率的に一般化させます。しかし、既存の ICRL 手法は事前学習に明示的な報酬信号を依存しており、報酬が曖昧、指定が困難、あるいは取得費用が高い場合の適用性を制...
Original: arXiv:2602.08244v1 Announce Type: new Abstract: In-context reinforcement learning (ICRL) leverages the in-context learning capabilities of transformer models (TMs) to efficiently generalize to unseen...
制約感知生成オートバイディング：パーレオ優先レグレット最適化によるアプローチ
Constraint-Aware Generative Auto-bidding via Pareto-Prioritized Regret Optimization
arXiv:2602.08261v1 発表タイプ：新規 要旨：オートバイディングシステムは、目標コストパフォーマンス（Target Cost-Per-Action, CPA）などの厳密な効率制約を満たしながらマーケティング価値を最大化することを目的としています。決定トランスフォーマーが強力な連続モデル化能力を提供する一方で、この制約付き環境への適用では二つの課題が生じます：1) 標準的なリターン・...
Original: arXiv:2602.08261v1 Announce Type: new Abstract: Auto-bidding systems aim to maximize marketing value while satisfying strict efficiency constraints such as Target Cost-Per-Action (CPA). Although Deci...
Diffeーションサンプリングによるデータ変換の逆転
Inverting Data Transformations via Diffusion Sampling
arXiv:2602.08267v1 Announce Type: new 抜粋: 私たちは、一般のリー群における変換逆転の問題を研究します：データは不明な群要素によって変換され、その逆変換を復元することにより元のデータ分布へとそれを戻します。このような不明な変換は機械学習や科学モデルリングにおいて広く現れ、観察を著しく歪める可能性があります。私々は確率的視点を取り、データ空間上のエネルギー関数に...
Original: arXiv:2602.08267v1 Announce Type: new Abstract: We study the problem of transformation inversion on general Lie groups: a datum is transformed by an unknown group element, and the goal is to recover ...