3496 articles
光学を用いた物理情報ニューラルネットワークの非回帰推論による拡張トレーニング
Scalable Back-Propagation-Free Training of Optical Physics-Informed Neural Networks
arXiv:2502.12384v2 発表型：置換 摘要：物理知性およびデジタルツインでは、ロボット、自律走行車、半導体チップなどの様々な工学分系に対し、即時動作または意思決定を可能にするための高速かつ反復的なパフォーマンス評価が求められることがあります。これにより、エッジ设备上に展開される場合のリソース制約下で加速された偏微分方程式（PDE）解算器の開発が促進されました。物理情報ニューラルネット...
Original: arXiv:2502.12384v2 Announce Type: replace Abstract: Physics intelligence and digital twins often require rapid and repeated performance evaluation of various engineering systems (e.g. robots, autonom...
大規模言語モデルにおける拒否の幾何学：概念コーンと表現独立性
The Geometry of Refusal in Large Language Models: Concept Cones and Representational Independence
arXiv:2502.17420v2 Announce Type: replace 要旨：大規模言語モデル (LLMs) の安全性の整合性は、敵対的に作成された入力によって回避される可能性があるが、これらの攻撃が安全の障壁をどのように回避するかは十分に理解されていない。先鋭の研究は、モデルの活性化空間内の単一の拒否方向が LLM がリクエストを拒否するかどうかを決定すると示唆している。本研究では、...
Original: arXiv:2502.17420v2 Announce Type: replace Abstract: The safety alignment of large language models (LLMs) can be circumvented through adversarially crafted inputs, yet the mechanisms by which these at...
Inference-Time Scaling を用いたマスク付き離散拡散モデルの Remasking
Remasking Discrete Diffusion Models with Inference-Time Scaling
arXiv:2503.00307v4 Announce Type: replace Abstract: 拡散モデルの成功には、反復的微修正を行う能力が貢献している：生成中に出力を繰り返し修正する。しかし、現代のマスク付き離散拡散モデルは、生成したトークンが誤りを生じてもそれ以上更新されないという欠点を有する。ここでは、事前学習したマスク付き拡散モデルに原理的な方法で適用可能な Remasking...
Original: arXiv:2503.00307v4 Announce Type: replace Abstract: Part of the success of diffusion models stems from their ability to perform iterative refinement, i.e., repeatedly correcting outputs during genera...
RiskAgent: 検証された臨床意思決定ツールを統合し、証拠に基づくリスク予測を実現する
RiskAgent: Synergizing Language Models with Validated Tools for Evidence-Based Risk Prediction
arXiv:2503.03802v2 Announce Type: replace 摘要：大規模言語モデル（LLM）は、医療検査において専門家の結果に競合する成果を示しています。しかし、現在のアプローチで使用されている標準化された、試験形式のシナリオとは異なる、深い医学知識の理解が必要な複雑な臨床意思決定への LLM 応用は依然として課題となっています。一般的なアプローチは LLM を目的タスクに...
Original: arXiv:2503.03802v2 Announce Type: replace Abstract: Large Language Models (LLMs) achieve competitive results compared to human experts in medical examinations. However, it remains a challenge to appl...
容量感知推論：混合エクスパートにおけるストラゲラー効果の緩和
Capacity-Aware Inference: Mitigating the Straggler Effect in Mixture of Experts
arXiv:2503.05066v4 発表タイプ：置換 要約: 混合エクスパート（MoE）は、スパースなエクスパート活性化を活用することで、性能と効率のバランスを保ちながら大規模言語モデルのスケールアップに有効なアーキテクチャである。しかし、エクスパート並列化の下では、トークンからエクスパートへの割り当ての不均衡により推論非効率性が生じ、負荷の少ないエクスパートが早期に計算を完了しすぎた場合、過...
Original: arXiv:2503.05066v4 Announce Type: replace Abstract: The Mixture of Experts (MoE) is an effective architecture for scaling large language models by leveraging sparse expert activation to balance perfo...
フェデレーテッドラーニングにおける適切なタイミングでの適正な報酬：R3T
Right Reward Right Time for Federated Learning
arXiv:2503.07869v2 Announce Type: replace Abstract: フェデレーテッドラーニング（FL）における臨界学習期間（CLP）とは、低品質な貢献（例：スパースなトレーニングデータの可用性）がモデルオーナー（すなわちクラウドサーバー）のグローバルモデルのパフォーマンスを恒久的に損傷させる初期段階を指します。しかし、既存のインセンティブ機構は時間的同質性を示...
Original: arXiv:2503.07869v2 Announce Type: replace Abstract: Critical learning periods (CLPs) in federated learning (FL) refer to early stages during which low-quality contributions (e.g., sparse training dat...
Probabilistic Forecasting via Autoregressive Flow Matching
arXiv:2503.10375v2 Announce Type: replace **Abstract**: 本研究では、多変量時系列データの確率的予測のための生成モデル、FlowTime を提案します。過去の数値データとオプションの未来変数を与えた場合、予測を観測された条件変数に対する未来の軌道上の学習された条件分布からのサンプリングとして形式化します。具体的には、未来の観測の合分布を条件密...
Original: arXiv:2503.10375v2 Announce Type: replace Abstract: In this work, we propose FlowTime, a generative model for probabilistic forecasting of multivariate timeseries data. Given historical measurements ...
ASIDE: Language モデルにおける指示とデータのアーキテクチャ的な分離
ASIDE: Architectural Separation of Instructions and Data in Language Models
arXiv:2503.10566v4 Announce Type: replace 要旨: 顕著な性能を有する大規模言語モデルには、基本的な安全機能が欠如しており、多数の悪意のある攻撃にさらされやすいことが問題になっています。特に、過去の研究は、指示とデータ間の内在的な分離が欠如していることを、プロンプトインジェクション攻撃の成功の根本原因であると特定しています。本稿では、言語モデルがトークン埋め...
Original: arXiv:2503.10566v4 Announce Type: replace Abstract: Despite their remarkable performance, large language models lack elementary safety features, making them susceptible to numerous malicious attacks....
LogicXGNN: 最終サブグラフ説明のためのGrounded 論理的規則とグラフニューラルネットワークの解釈可能性
LogicXGNN: Grounded Logical Rules for Explaining Graph Neural Networks
本文書は arXiv:2503.19476v4 です。 摘要: 既存のグラフニューラルネットワーク（GNN）ための規則ベースの説明は、グローバルな解釈可能性を提供しますが、中間の解釈不能な概念空間で最適化・評価を行うことが多く、最終的なサブグラフ説明におけるエンドユーザーへの「Grounding（根付け）」品質を見落としがちです。このギャップは、実運用では信頼性が疑問視されるかもしれないが、表面...
Original: arXiv:2503.19476v4 Announce Type: replace Abstract: Existing rule-based explanations for Graph Neural Networks (GNNs) provide global interpretability but often optimize and assess fidelity in an inte...
埋め込み空間における幾何的推理
Geometric Reasoning in the Embedding Space
arXiv:2504.02018v2 発表タイプ：置換 摘要：この貢献において、グラフニューラルネットワーク（GNN）とトランスフォーマーが幾何学的制約について推理（reasoning）を学習できることを示す。これらのモデルは、点の集合から隠れた図形を表す一意の制約から、離散 2D グRID 内の点の空間的な位置を予測する訓練を受けました。両方のモデルは点の位置を予測できるとともに、興味深くは推理...
Original: arXiv:2504.02018v2 Announce Type: replace Abstract: In this contribution, we demonstrate that Graph Neural Networks and Transformers can learn to reason about geometric constraints. We train them to ...
Multi-Agent Task Allocation の逆強化学習のための時空注意強化型逆強化学習
Spatiotemporal Attention-Augmented Inverse Reinforcement Learning for Multi-Agent Task Allocation
arXiv:2504.05045v4 Announce Type: replace 要約：非定常性の相互作用と高次元の調整に直面したマルチエージェントタスク割り当て（MATA）のための対抗的逆強化学習（IRL）は、不制約された報酬推論は高い変数と一般的な汎化能力に悪影響を与える。我々は、時空表現学習を通じて報酬推論を制約する、注意構造の対抗的 IRL フレームワークを提案した。我々の手法は、長距離...
Original: arXiv:2504.05045v4 Announce Type: replace Abstract: Adversarial inverse reinforcement learning (IRL) for multi-agent task allocation (MATA) is challenged by non-stationary interactions and high-dimen...
アダプティブな交通信号制御のためのフェデレーテッド階層強化学習
Federated Hierarchical Reinforcement Learning for Adaptive Traffic Signal Control
arXiv:2504.05553v2 発表タイプ: 置換 抽象：マルチエージェント強化学習（MARL）は、複数の交差点がリアルタイムで信号のタイミングを調整するアダプティブな交通信号制御（ATSC）において可能性を示しており、大規模な環境ではMARLは広範なデータ共有と通信要件により制約を受けます。フェデレーテッド学習（FL）は、生データを直接交換せずに共有モデルをトレーニングすることでこれらの課...
Original: arXiv:2504.05553v2 Announce Type: replace Abstract: Multi-agent reinforcement learning (MARL) has shown promise for adaptive traffic signal control (ATSC), enabling multiple intersections to coordina...
Think2SQL: 文字から SQL への変換における大規模言語モデルの論理推論能力の強化
Think2SQL: Reinforce LLM Reasoning Capabilities for Text2SQL
arXiv:2504.15077v3 Announce Type: replace 要旨: 大規模言語モデル（LLM）は、文字から SQL への変換（Text-to-SQL）において最先端技術を実現しましたが、パラメータ効率的なモデルにおいて、複雑な多テーブル環境での堅牢な論理推論は依然としてボトルネックとなっています。本論文は、検証可能な報酬を伴う強化学習（RLVR）の視点から、文字から SQL...
Original: arXiv:2504.15077v3 Announce Type: replace Abstract: While Large Language Models (LLMs) have advanced the state-of-the-art in Text-to-SQL, robust reasoning in complex, multi-table environments remains...
パラメトリックかつ反転可能な多次元投影の評価：オートエンコーダーの適用について
Evaluating Autoencoders for Parametric and Invertible Multidimensional Projections
arXiv:2504.16831v3 発表 タイプ：置き換え 要旨：最近、ニューラルネットワークは、パラメトリックかつ反転可能な多次元データ投影の生成において注目を集めています。パラメトリックな投影は、全体の投影を再計算することなく、事前に見たことがないデータを埋め込むことを、反転可能な投影は新しいデータ点を生成することを可能にします。しかし、これら2つの特性は、任意の投影方法に対して同時に検討...
Original: arXiv:2504.16831v3 Announce Type: replace Abstract: Recently, neural networks have gained attention for creating parametric and invertible multidimensional data projections. Parametric projections al...
大規模言語モデルエージェントによる効率的な探索への道向き
Toward Efficient Exploration by Large Language Model Agents
arXiv:2504.20997v2 Announce Type: replace 要旨: 強化学習 (RL) の成長分野の一つは、大規模言語モデル (LLM) を中心としたシーケンス決定エージェントの設計である。現代の LLM による自律的決定エージェントが多数の現実世界への応用を可能にすることは確かだが、その成功はデータ効率的な RL を可能とするエージェントを必要とする。RL のデータ効率化...
Original: arXiv:2504.20997v2 Announce Type: replace Abstract: A burgeoning area within reinforcement learning (RL) is the design of sequential decision-making agents centered around large language models (LLMs...
Pre-Score による効率的なアテンション: トランフォーマーにおける情報量のあるキーを優先する
Efficient Attention via Pre-Scoring: Prioritizing Informative Keys in Transformers
arXiv:2505.11040v4 Announce Type: replace Abstract: 効率的なアテンションメカニズムは長文脈のトランフォーマーを可能にするものの、グローバルに重要なトークンを見落とし、モデリング品質の低下を招く場合がある。われわれは、キーに対してハイレベル近似アテンションを適用する前にクエリに依存しないグローバル重要性を割り当てるプレスコリング（pre-scor...
Original: arXiv:2505.11040v4 Announce Type: replace Abstract: Efficient attention mechanisms enable long-context transformers but often miss globally important tokens, degrading modeling quality. We introduce ...
Dist2ill: 大規模言語モデルにおけるワンパス不確実性推定のための分布再学習
Dist2ill: Distributional Distillation for One-Pass Uncertainty Estimation in Large Language Models
arXiv:2505.11731v3 発表型：置き換え 要約：大規模言語モデル（LLM）は、生成された応答の質とそれらに割り当てられる確信度の推定値の間にある不整合を示すことがよくあります。ベイズ的な処理（信頼できる重みの後方分布や思考の経路の空間の上でマージナライズするなど）は有効な解決策ですが、テスト時に反復サンプリングを行うため、計算上のオーバーヘッドが著しいです。正確な不確実性推定をワンパ...
Original: arXiv:2505.11731v3 Announce Type: replace Abstract: Large Language Models (LLMs) often exhibit misalignment between the quality of their generated responses and the confidence estimates they assign t...
Transformer を無教師学習アルゴリズムとして：ガウス混合モデルに関する研究
Transformers as Unsupervised Learning Algorithms: A study on Gaussian Mixtures
arXiv:2505.11918v2 Announce Type: replace 【要約】 Transformer アーキテクチャは、現代の人工知能において驚くべき能力を示しており、そのうち推論時に内部モデルを明示的に学習する能力が、事前トレーニングされた大規模言語モデルの理解において極めて重要な役割を果たしていることは広く信じられています。しかし、最近の多くの研究は、コンテキスト内学習などの...
Original: arXiv:2505.11918v2 Announce Type: replace Abstract: The transformer architecture has demonstrated remarkable capabilities in modern artificial intelligence, among which the capability of implicitly l...
ユニバーサル近似のための並列レイヤー正規化
Parallel Layer Normalization for Universal Approximation
arXiv:2505.13142v2 発表タイプ: 更新 要約：本稿では、層正規化（LN）と線形層を組み合わせるニューラルネットワークの近似能力を研究します。2 つの線形層の間に並列レイヤー正規化（PLN）を挿入した（PLN-Nets として呼称）ネットワークはユニバーサル近似能达到することを証明し、一方で標準的な LN を使用するアーキテクチャは厳密に制限された表現力を示すことがわかります。さら...
Original: arXiv:2505.13142v2 Announce Type: replace Abstract: This paper studies the approximation capabilities of neural networks that combine layer normalization (LN) with linear layers. We prove that networ...
Safety Subspaces are Not Linearly Distinct: A Fine-Tuning Case Study
arXiv:2505.14185v3 Announce Type: replace Abstract: 大規模言語モデル (LLMs) は、社会的に受け入れ可能な回答を生成するために安全アライメントに依存します。しかし、この振る舞いは脆く知られています：無害または軽微に汚染されたデータに対してもさらに微調整を行うと、安全性が低下し、有害な振る舞いが再導入されてしまいます。近年の多くの研究では、アラ...
Original: arXiv:2505.14185v3 Announce Type: replace Abstract: Large Language Models (LLMs) rely on safety alignment to produce socially acceptable responses. However, this behavior is known to be brittle: furt...