3496 articles
Feature Learning と Unlearning の二律背反：Stochastic Gradient Descent を用いたニューラルネットワークにおける Fast-Slow 解析
Dichotomy of Feature Learning and Unlearning: Fast-Slow Analysis on Neural Networks with Stochastic Gradient Descent
arXiv:2602.07378v1 Announce Type: new Abstract: ニューラルネットワークの勾配ベーストレーニングのダイナミクスはしばしば非自明な構造を示し、それが理解されることは理論機械学習の中心的課題である。特に、長いトレーニングの過程で以前学習された特徴を失っていく「feature unlearning」の概念は注目を集めている。本研究では、大バッチのランダム勾配...
Original: arXiv:2602.07378v1 Announce Type: new Abstract: The dynamics of gradient-based training in neural networks often exhibit nontrivial structures; hence, understanding them remains a central challenge i...
招待前に調査：効率的な LLM 推論のための軽量スケーチ＆ウォークスパースアテンション
Scout Before You Attend: Sketch-and-Walk Sparse Attention for Efficient LLM Inference
arXiv:2602.07397v1 発表型: 新しいもの 要約：自己注意は、事前エンコードフェーズとデコードフェーズの両方で長文脈 LLM 推論の計算コストとメモリコストの支配要因となっています。この課題に対処するため、私はトレーニング不要なスパースアテンション法である「スケーチ＆ウォークアテンション」を導入しました。この手法は、軽量なスケーチと決定論的なウォークによって疎性を決定します。スケー...
Original: arXiv:2602.07397v1 Announce Type: new Abstract: Self-attention dominates the computational and memory cost of long-context LLM inference across both prefill and decode phases. To address this challen...
BitLogic: 漸化式に基づく FPGA 原生ニューラルネットワークのトレーニングフレームワーク
BitLogic: Training Framework for Gradient-Based FPGA-Native Neural Networks
arXiv:2602.07400v1 発表 タイプ：新しい 要約：深層ニューラルネットワークの推論におけるエネルギーコストとレイテンシコストは、トレーニングよりもデプロイによってますます支配的になり、アリカリファ（演算子）に依存したモデルのためのハードウェア特化型代替案を促進しています。フィールド・プロゲラブル・ゲート・アレイ（FPGA）は、そのような特化のための魅力的な基盤を提供していますが、既...
Original: arXiv:2602.07400v1 Announce Type: new Abstract: The energy and latency costs of deep neural network inference are increasingly driven by deployment rather than training, motivating hardware-specializ...
一般報酬における非パラメトリックベイズ最適化
Nonparametric Bayesian Optimization for General Rewards
arXiv:2602.07411v1 発表タイプ：新 要旨：本稿は報酬モデルの不確実性下におけるベイズ最適化（Bayesian optimization: BO）を対象とする。我々は、目的関数がリップシッツ連続性を有し、広範な測定ノイズを許容する一般的な報酬設定において、無 regret 保証を実証的に初めて達成する BO アルゴリズムを提案する。当アプローチの核となるのは、新しい代理モデルであ...
Original: arXiv:2602.07411v1 Announce Type: new Abstract: This work focuses on Bayesian optimization (BO) under reward model uncertainty. We propose the first BO algorithm that achieves no-regret guarantee in ...
Chirality Determinant Kernels による分子キラリティの学習
Learning Molecular Chirality via Chiral Determinant Kernels
arXiv:2602.07415v1 Announce Type: new 摘要：キラリティは、化学と生物学における立体選択的な振る舞いを支配する基本的な分子特性です。機械学習モデルにキラリティを捕らえることは、立体化学的な関係の幾何学的複雑さ、および伝統的な分子表現手法が明示的な立体化学記述を欠きがちという限界のため、引き続き困難な課題となっています。既存のキラリティ分子表現のアプローチは、主に...
Original: arXiv:2602.07415v1 Announce Type: new Abstract: Chirality is a fundamental molecular property that governs stereospecific behavior in chemistry and biology. Capturing chirality in machine learning mo...
Deterministic Losses における同時最適的な静的・動的損失の達成：バンディット問題
Achieving Optimal Static and Dynamic Regret Simultaneously in Bandits with Deterministic Losses
arXiv:2602.07418v1 発表タイプ：新規 要約：敵対的マルチアームバンディットでは、2 つのパフォーマンス指標が一般的に使用されています：ベスト固定アームと比較する静的損失（static regret）と、ベストアームの順列と比較する動的損失（dynamic regret）。個々の指標に対して最適なアルゴリズムは既知ですが、両方を同時に最適 bound で達成するアルゴリズムは既知で...
Original: arXiv:2602.07418v1 Announce Type: new Abstract: In adversarial multi-armed bandits, two performance measures are commonly used: static regret, which compares the learner to the best fixed arm, and dy...
Sign-Based Optimizers Are Effective Under Heavy-Tailed Noise
arXiv:2602.07425v1 Announce Type: new Abstract: Adaptiv gradient methods は現代の機械学習の主力であるものの、Lion や Muon などの Sign-based 最適化アルゴリズムは、Large Language Models (LLM) の訓練において AdamW に対して経験的に優れた性能を示しました。しかし、なぜ Si...
Original: arXiv:2602.07425v1 Announce Type: new Abstract: While adaptive gradient methods are the workhorse of modern machine learning, sign-based optimization algorithms such as Lion and Muon have recently de...
Brep2Shape: 自己教師学習トランスフォーマーによる境界表現と形状表現の整合化
Brep2Shape: Boundary and Shape Representation Alignment via Self-Supervised Transformers
arXiv:2602.07429v1 Announce Type: new 要旨：境界表現（B-rep）は、コンピュータ支援設計（CAD）の業界標準です。機械学習は B-rep モデルを処理する上で有望ですが、既存の手法は「表現のギャップ」に苦しんでいます：連続的な手法は解析的な精度を有りますが視覚的抽象性が高く、不連続な手法は直感的な明晰性を提供しますが幾何学的精度を犠牲にしています。このギャ...
Original: arXiv:2602.07429v1 Announce Type: new Abstract: Boundary representation (B-rep) is the industry standard for computer-aided design (CAD). While deep learning shows promise in processing B-rep models,...
Aggregated Acquisition Functions によるアクティブ学習：精度とサステナビリティの分析
Active Learning Using Aggregated Acquisition Functions: Accuracy and Sustainability Analysis
arXiv:2602.07440v1 発表タイプ：新規 概要: アクティブ学習（AL）は、トレーニング中にラベル付けコストを最小限に抑えるために、最も情報量のあるサンプルを戦略的に選択する機械学習（ML）のアプローチです。この戦略はラベル付けコストだけでなく、ニューラルネットワークのトレーニングにおけるエネルギー効率を高め、データとエネルギーの両方の効率を向上させます。本稿では、最先端の取得関数を...
Original: arXiv:2602.07440v1 Announce Type: new Abstract: Active learning (AL) is a machine learning (ML) approach that strategically selects the most informative samples for annotation during training, aiming...
プロキマルアクション置換によるオフライン強化学習の行動複製アクティビター・クリティックへの応用
Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning
arXiv:2602.07441v1 発表タイプ：新 要約: オフライン強化学習（RL）は、事前に収集された静的データセットからポリシーを最適化するもので、強化学習の重要な分野です。人気の有望なアプローチとして、行動複製（BC）を用いてアクティビター・クリティック手法を制約する手法があり、これは現実的なポリシーを生み出し、分布外アクションによるバイアスを軽減しますが、しばしば見過ごされたパフォー...
Original: arXiv:2602.07441v1 Announce Type: new Abstract: Offline reinforcement learning (RL) optimizes policies from a previously collected static dataset and is an important branch of RL. A popular and promi...
データ対応型かつスケーラブルな決定木アンサンブルの感受性解析
Data-Aware and Scalable Sensitivity Analysis for Decision Tree Ensembles
arXiv:2602.07453v1 Announce Type: new 要旨：決定木アンサンブルは批判的な分野で広く利用されており、信頼性を得るためには頑健性と感受性解析が不可欠です。本研究では、アンサンブルが特定の特徴集合（例えば、保護対象アトリビュートなど、モデルの予測を変化させる可能性のある操作可能な特徴）に対して感受性を示すかという「特徴の感受性」の問題について調査します。既存のアプ...
Original: arXiv:2602.07453v1 Announce Type: new Abstract: Decision tree ensembles are widely used in critical domains, making robustness and sensitivity analysis essential to their trustworthiness. We study th...
マルチスケール校準が量化に重要な理由
On the Importance of a Multi-Scale Calibration for Quantization
arXiv:2602.07465v1 Announce Type: new 要旨：後処理量化（PTQ）は、大規模言語モデル（LLM）を効率的にデプロイする上で重要な役割を果たしており、小さな校準セットが量化性能に決定的な影響を与える。従来の手法では、固定長のランダムシーケンスに依存しており、LLMの入力長の可変性の性質を見落としている。入力長はアクティベーション分布に直接影響を与え、その結果、He...
Original: arXiv:2602.07465v1 Announce Type: new Abstract: Post-training quantization (PTQ) is a cornerstone for efficiently deploying large language models (LLMs), where a small calibration set critically affe...
Bandit Allocations to Instability: 新規性能指標の導入
Bandit Allocational Instability
arXiv:2602.07472v1 Announce Type: new 本稿では、複数のアーム間の試行回数の配分に関する問題に対処します。マルチアームバンドット（MAB）アルゴリズムが競合する各アーム間に試行回数を割り当てた場合、結果として生じる割り当ては非常に大きな変動を示すことがあります。これは、学習強化型プラットフォーム運用やバンドット後の統計的推論など、現代のアプリケーションにおいて...
Original: arXiv:2602.07472v1 Announce Type: new Abstract: When multi-armed bandit (MAB) algorithms allocate pulls among competing arms, the resulting allocation can exhibit huge variation. This is particularly...
Bipartite Graph Attention に基づいた大規模 scRNA-seq データ用クラスタリング
Bipartite Graph Attention-based Clustering for Large-scale scRNA-seq Data
arXiv:2602.07475v1 Announce Type: new 要約：単細胞 RNA 配列解析（scRNA-seq）データにおけるクラスタリングは、同様の遺伝子発現プロファイルを持つ細胞をグループ化するという極めて重要な課題であり、scRNA-seq データ解析の鍵となっています。強力な基礎モデルであるトランフォームは scRNA-seq クラスタリングにも適用されており、その自己注意...
Original: arXiv:2602.07475v1 Announce Type: new Abstract: scRNA-seq clustering is a critical task for analyzing single-cell RNA sequencing (scRNA-seq) data, as it groups cells with similar gene expression prof...
イスラエルにおける地下水塩害のための AI ドライブ予測モデル
AI-Driven Predictive Modelling for Groundwater Salinization in Israel
arXiv:2602.07478v1 告知タイプ：新規 要旨：世界的な多くの地域で、地下水の塩分増加と汚染は深刻な課題であり、水資源の劣化を引き起こしています。本作業の目的は、地下水塩害の根因要因に対する包括的な理解を構築し、塩分の主要な気象、地質、および人類的な動向を同定することです。私たちは異なる潜在共変量のデータセットを統合し、ランダムフォレスト（RF）、XGBoost、ニューラルネットワー...
Original: arXiv:2602.07478v1 Announce Type: new Abstract: Increasing salinity and contamination of groundwater is a serious issue in many parts of the world, causing degradation of water resources. The aim of ...
ODELoRA: 常微分方程式を用いた低ランク適応のトレーニング
ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations
arXiv:2602.07479v1 Announce Type: new 要約：低ランク適応 (LoRA) は、適応行列上の Burer-Monteiro 因子分解によりトレーニング可能なパラメータ数の減少とメモリ要件の低減をもたらしたため、ディープ・トランスファー・ラーニングにおいて広く採用されたパラメータ効率的な微調整手法となっています。しかし、古典的な LoRA トレーニング手法は低ランク...
Original: arXiv:2602.07479v1 Announce Type: new Abstract: Low-rank adaptation (LoRA) has emerged as a widely adopted parameter-efficient fine-tuning method in deep transfer learning, due to its reduced number ...
自然言語の統計から神経ネットのスケール解析則を導き出す
Deriving Neural Scaling Laws from the statistics of natural language
arXiv:2602.07488v1 Announce Type: new **要約**：実験的な神経ネットのスケール解析則は、大規模機械学習の経験的成果を著しく導き込んだにもかかわらず、どのモダンな自然言語データセットで訓練された LLM（大規模言語モデル）のこれらの重要な解析則の指数を定量的に予測できる理論は存在しません。本稿では、データ制限されたスケール解析則の場面で初めてのそのような理論...
Original: arXiv:2602.07488v1 Announce Type: new Abstract: Despite the fact that experimental neural scaling laws have substantially guided empirical progress in large-scale machine learning, no existing theory...
非反復型マルチパス神経ネットワークにおける超パラメータ移転の法則
Hyperparameter Transfer Laws for Non-Recurrent Multi-Path Neural Networks
arXiv:2602.07494v1 Announce Type: new 要約: 深く設計された現代のアーキテクチャの訓練は高コストであり、高価な繰り返し調整に比して超パラメータの移転の方が望ましい。最大更新パラメトリゼーション（$ ext{maximal update parametrization, } \mu\text{P}$）は、多くの超パラメータが幅（width）の間で移転される理由を...
Original: arXiv:2602.07494v1 Announce Type: new Abstract: Deeper modern architectures are costly to train, making hyperparameter transfer preferable to expensive repeated tuning. Maximal Update Parametrization...
CoMI-IRL:コントラスタティブ・マルチ・インテンション・インバーズ・リファインメント学習
CoMI-IRL: Contrastive Multi-Intention Inverse Reinforcement Learning
arXiv:2602.07496v1 発表 タイプ: 新しい アブストラクト：インバーズ・リファインメント学習（IRL）は、エキスパートのデモから報酬関数を推論することを目的としています。複数の異なる意図を持つエキスパートがデモを提供する場合、これをマルチ・インテンション・IRL（MI-IRL）と呼びます。最近の深層生成 MI-IRLのアプローチは行動クラスタリングと報酬学習を組み合わせています...
Original: arXiv:2602.07496v1 Announce Type: new Abstract: Inverse Reinforcement Learning (IRL) seeks to infer reward functions from expert demonstrations. When demonstrations originate from multiple experts wi...
PALMS: Pavlovian Associative Learning Models Simulator
シミュレーションは、理論の構築と精査のサイクルにおいて不可欠なステップであり、研究者在適切な定義の構築、モデルの生成、そして正確な予測の作成を支援します。本論文では、パブロビアン条件付け実験をシミュレートするための Python 環境である Pavlovian Associative Learning Models Simulator (PALMS) を導入します。標準的な Rescorla-Wa...
Original: arXiv:2602.07519v1 Announce Type: new Abstract: Simulations are an indispensable step in the cycle of theory development and refinement, helping researchers formulate precise definitions, generate mo...