2031 articles
Verifiable Accuracy と Abstention Rewards を持つ Curriculum RL を用いたマルチターン対話における「Lost in Conversation」の緩和
Mitigating Lost in Multi-turn Conversation via Curriculum RL with Verifiable Accuracy and Abstention Rewards
arXiv:2510.18731v2 Announce Type: replace-cross 要約: 大規模言語モデル (LLM) は単一ターンの指示追従において強力な性能を示しますが、情報が段階的に開示されるマルチターンの場面で「対話の喪失 (Lost-in-Conversation, LiC)」という性能劣化を経験します。現在、検証可能な報酬 (Verifiable Rewards) を持つ...
Original: arXiv:2510.18731v2 Announce Type: replace-cross Abstract: Large Language Models demonstrate strong capabilities in single-turn instruction following but suffer from Lost-in-Conversation (LiC), a degr...
RV-HATE: 明示的否定的嫌悪発言検出を強化するマルチモジュール投票システム
RV-HATE: Reinforced Multi-Module Voting for Implicit Hate Speech Detection
arXiv:2510.10971v2 発表形式：replace-cross 要約: 嫌悪発言は依然として人間社会に存在し、その形態や表現は進化し続けています。インターネットの進歩とオンラインのアノニミティは、その急速な拡散を加速させ、検出を複雑にしています。しかし、嫌悪発言のデータセットは、異なるソースやプラットフォームから構成されているため、それぞれが異なる言語的スタイルや社会的文脈を反映してい...
Original: arXiv:2510.10971v2 Announce Type: replace-cross Abstract: Hate speech remains prevalent in human society and continues to evolve in its forms and expressions. Modern advancements in internet and onli...
CD証拠正規化とゲージ緩衝されたロックアンサンブルを通じた$P eq NP$へのクォランタル・弱体化アプローチ
A Quantale-Weakness Route to $P \neq NP$ via CD Evidence Normalization and Gauge-Buffered Locked Ensembles
arXiv:2510.08814v2 Announce Type: replace-cross 摘要：我々は、多項式時間制約された条件記述長における上側・下側の衝突に基づく$P eq NP$の証明アーキテクチャを提示する。効率的にサンプリャブルなSATインスタンスの一族$Y$を構築し、$Y$のすべての満たされる写像が同じグローバルメッセージ$M(Y)$を生み出すようにする。もし$P=NP$ならば...
Original: arXiv:2510.08814v2 Announce Type: replace-cross Abstract: We present a proof architecture for \(P \neq NP\) based on an upper--lower clash in polytime-capped conditional description length. We constr...
マルチモーダルアクティブ学習へ：限られたペア付きデータでの効率的な学習
Towards Multimodal Active Learning: Efficient Learning with Limited Paired Data
arXiv:2510.03247v2 Announce Type: replace-cross 要旨：アクティブ学習（AL）は、データhungryな深層学習の注釈コストを削減するための原理に基づく戦略ですが、既存の AL アルゴリズムはほぼ一元的なデータに焦点を当て、マルチモーダル学習における巨大な注釈負担を見逃しています。我々は、事前にアラインされていないデータを持つマルチモーダルアクティブ学習...
Original: arXiv:2510.03247v2 Announce Type: replace-cross Abstract: Active learning (AL) is a principled strategy to reduce annotation cost in data-hungry deep learning. However, existing AL algorithms focus a...
ChessArena: 大規模言語モデルの戦略的推論能力を評価するためのチェステストベッド
ChessArena: A Chess Testbed for Evaluating Strategic Reasoning Capabilities of Large Language Models
arXiv:2509.24239v4 Announce Type: replace-cross 最近の大規模言語モデル（LLM）は強力な推論能力を示唆していますが、その核心に残る重要な質問が一つあります。これらのモデルは本物の戦略的推論を備えているのか、それとも主にパターン認識に優れているだけなのかです。この問いに対して、私たちは LLM を評価するためのチェスに基づくテストベッドである Ches...
Original: arXiv:2509.24239v4 Announce Type: replace-cross Abstract: Recent large language models (LLMs) have shown strong reasoning capabilities. However, a critical question remains: do these models possess g...
Compose and Fuse: Multimodal Reasoning の基盤的ボトルネックの再検討
Compose and Fuse: Revisiting the Foundational Bottlenecks in Multimodal Reasoning
arXiv:2509.23744v3 Announce Type: replace-cross 要旨：マルチモーダル大規模言語モデル（MLLM）は、テキスト、視覚、音声などの多様な入力統合により、向上した推論能力を約束している。しかし、クロスモーダル推論は十分に探求されておらず、追加したモーダルがパフォーマンスを助けるのか害するのかという矛盾した報告が存在する。これらの不整合は、モデルの内部を分...
Original: arXiv:2509.23744v3 Announce Type: replace-cross Abstract: Multimodal large language models (MLLMs) promise enhanced reasoning by integrating diverse inputs such as text, vision, and audio. Yet cross-...
文脈こそが必要：現実世界の LLM の限界における最大効果的文脈ウィンドウ
Context Is What You Need: The Maximum Effective Context Window for Real World Limits of LLMs
arXiv:2509.21361v2 Announce Type: replace-cross 要約：大規模言語モデル（LLM）プロバイダーは、最大文脈ウィンドウサイズに対して大きな数値を公表しています。文脈ウィンドウの現実的な使用を調べるために、私達は 1) 最大効果的文脈ウィンドウという概念を定義し、2) 様々なサイズおよび問題タイプにおける文脈ウィンドウの効果を評価する試験方法を形式化し、3...
Original: arXiv:2509.21361v2 Announce Type: replace-cross Abstract: Large language model (LLM) providers boast big numbers for maximum context window sizes. To test the real world use of context windows, we 1)...
InfiniPipe: 効率性の高い変長長コンテキスト LLM 訓練のための弾力性 Pipeline 並列化
InfiniPipe: Elastic Pipeline Parallelism for Efficient Variable-Length Long-Context LLM Training
arXiv:2509.21275v3 Announce Type: replace-cross Abstract: 長文脈訓練は、LLM のコンテキスト拡張において不可欠です。既存の手法、例えばシーケンス並列化は、大きな通信オーバーヘッドをもたらします。Pipeline 並列化（PP）はこのコストを削減しますが、その効性は割当て粒度に依存します。シーケンスパッキングを活用したバッチレベル PP ...
Original: arXiv:2509.21275v3 Announce Type: replace-cross Abstract: Long context training is crucial for LLM's context extension. Existing schemes, such as sequence parallelism, incur substantial communication...
HyperAdapt: 単純かつ高ランク適応
HyperAdapt: Simple High-Rank Adaptation
arXiv:2509.18629v3 Announce Type: replace-cross 摘要：ファウンデーションモデルは多様なタスクにおいて卓越しますが、それらを専門的なアプリケーションに適応させるには、メモリと計算資源の消費が大きいファインチューニングがしばしば必要となります。パラメータ効率性の高いファインチューニング（PEFT）手法は、これらを更新する必要がある重みの少数のみを変更する...
Original: arXiv:2509.18629v3 Announce Type: replace-cross Abstract: Foundation models excel across diverse tasks, but adapting them to specialized applications often requires fine-tuning, an approach that is m...
微分プライバシーへの包括的なガイド：理論からユーザーの期待まで
A Comprehensive Guide to Differential Privacy: From Theory to User Expectations
arXiv:2509.03294v3 発表タイプ: replace-cross 本文：個人データの可用性が高まり、機械学習、医療、サイバーセキュリティなどの分野で重要な進歩を遂げた。しかし、このデータ大量化は、強力な再特定攻撃や、責任あるデータ利用に関する増加する法的・倫理的要求を背景に、深刻なプライバシー懸念を高める側面もある。微分プライバシー（Differential Privacy, DP）...
Original: arXiv:2509.03294v3 Announce Type: replace-cross Abstract: The increasing availability of personal data has enabled significant advances in fields such as machine learning, healthcare, and cybersecuri...
拡散トランスフォーマーによる代数的言語モデルを介したメタマテリアルの逆設計
Algebraic Language Models for Inverse Design of Metamaterials via Diffusion Transformers
arXiv:2507.15753v2 発表タイプ：差し替わり 要約：生成機械学習モデルは、複雑な構造と物性の関係を捉えることで素材発見を革命化しましたが、これらのアプローチを 3 次元メタマテリアルの逆設計に拡張するには、表現力の欠如により計算上の複雑さと未探索な設計領域が課題として残っています。ここでは、3 次元幾何形を数式の文として符号化する「代数的言語表現」と拡散トランスフォーマーを統合し...
Original: arXiv:2507.15753v2 Announce Type: replace-cross Abstract: Generative machine learning models have revolutionized material discovery by capturing complex structure-property relationships, yet extendin...
mGRADE: Minimal Recurrent Gating Meets Delay Convolutions for Lightweight Sequence Modeling
arXiv:2507.01829v2 Announce Type: replace-cross Abstract: Multi-timescale sequence modeling relies on capturing both local fast dynamics and global slow context; yet, maintaining these capabilities u...
Original: arXiv:2507.01829v2 Announce Type: replace-cross Abstract: Multi-timescale sequence modeling relies on capturing both local fast dynamics and global slow context; yet, maintaining these capabilities u...
安全性を意識した探査による LLM ファインチューニングの強化
Secure LLM Fine-Tuning via Safety-Aware Probing
arXiv:2505.16737v2 発表タイプ：クロス置き換え 摘要：大規模言語モデル（LLMs）は多岐にわたるアプリケーションにおいて顕著な成功を収めているものの、有害コンテンツを生成する能力は深刻な安全性懸念を生んでいる。安全性対齐技術は事前トレーニングや後期トレーニング時にしばしば適用されるが、最近の研究では、敵対的あるいは無害なデータに対する後のファインチューニングでもモデルの安全性が...
Original: arXiv:2505.16737v2 Announce Type: replace-cross Abstract: Large language models (LLMs) have achieved remarkable success across many applications, but their ability to generate harmful content raises ...
ロジックジャイルブレイク：形式論理表現を介した LLM 安全制限の効率的な解除
Logic Jailbreak: Efficiently Unlocking LLM Safety Restrictions Through Formal Logical Expression
arXiv:2505.13527v3 発表タイプ：差し替え 要約：Large Language Model（LLM）と人間価値の整合化には多大な進展が見られているものの、現在の安全メカニズムはジャイルブレイク攻撃に対して依然として感受性が高い。当研究では、この脆弱性が整合化志向のプロンプトと悪意あるプロンプトの間の分布的差異に起因すると仮定している。これを調べるために、形式論理表現の変換を活用して...
Original: arXiv:2505.13527v3 Announce Type: replace-cross Abstract: Despite substantial advancements in aligning large language models (LLMs) with human values, current safety mechanisms remain susceptible to ...
SafeMERGE: セレクティブな層別モデルマージによるファインチューニングされた大規模言語モデルにおける安全性アライメントの維持
SafeMERGE: Preserving Safety Alignment in Fine-Tuned Large Language Models via Selective Layer-Wise Model Merging
arXiv:2503.17239v3 Announce Type: replace-cross 要旨: 大規模言語モデル（LLM）のファインチューニングは、汎用モデルを特殊化されたドメインに適応させるための一般的なプラクティスです。しかし、最近の研究によると、ファインチューニングは安全性アライメントを侵食させ、LLM が有害または倫理的でないプロンプトに反応する原因となる可能性があります。安全性を...
Original: arXiv:2503.17239v3 Announce Type: replace-cross Abstract: Fine-tuning large language models (LLMs) is a common practice to adapt generalist models to specialized domains. However, recent studies show...
The Economics of p(doom): Scenarios of Existential Risk and Economic Growth in the Age of Transformative AI
arXiv:2503.07341v2 Announce Type: replace-cross 摘訳: 人工知能（AI）の最近の進展は、人類への長期的影響に関する多様な予測をもたらしました。中心の焦点は、最終的に人間よりもすべての経済的に価値のあるタスクにおいて優越し、労働を完全に自動化できる転換型人工知能（TAI）の出現の可能性です。議論されるシナリオは、以前ないほどの経済成長と豊かさ（『ポス...
Original: arXiv:2503.07341v2 Announce Type: replace-cross Abstract: Recent advances in artificial intelligence (AI) have led to a wide range of predictions about its long-term impact on humanity. A central foc...
活性化パターンの分析に基づく解析的 FFN からの MoE への再構築
Analytical FFN-to-MoE Restructuring via Activation Pattern Analysis
arXiv:2502.04416v3 Announce Type: replace-cross Abstract: 大規模言語モデル（LLM）の規模拡大は性能向上をもたらすが、推論コストを大幅に増大させ、フーズフォワードネットワーク（FFN）が計算資源の大部分を消費している。ミクスト・オブ・エキスパート（MoE）アーキテクチャはスパース活性化を通じてこのコストを削減できるにもかかわらず、既存の稠密...
Original: arXiv:2502.04416v3 Announce Type: replace-cross Abstract: Scaling large language models (LLMs) improves performance but significantly increases inference costs, with feed-forward networks (FFNs) cons...
大規模言語モデルと小規模言語モデルのための連合共同調整フレームワーク
Federated Co-tuning Framework for Large and Small Language Models
arXiv:2411.11707v3 Announce Type: replace-cross 要旨: 大規模言語モデル（LLM）をドメイン固有のタスクに適応させたり、ドメイン固有の知識を付与したりすることで、LLM の能力を最大限に活用できます。しかし、サーバー側の大規模言語モデルとクライアント側の小規模言語モデル（SLM）間の同時的双向強化において、まだ明確なギャップが存在します。これを解決...
Original: arXiv:2411.11707v3 Announce Type: replace-cross Abstract: By adapting Large Language Models (LLMs) to domain-specific tasks or enriching them with domain-specific knowledge, we can fully harness the ...
基礎モデルに基づく強化学習：エンボディドエージェントが自律的に効率的に学習する
Reinforcement Learning with Foundation Priors: Let the Embodied Agent Efficiently Learn on Its Own
arXiv:2310.02635v5 発表型：replace-cross 要旨: 強化学習（RL）は、ロボットマニピュレーションタスクを解決するための有望なアプローチです。ただし、RL アルゴリズムを直接現実の世界に応用するのは困難です。まず、RL はデータ集約的であり、通常、環境との数百万回のインタラクションを必要とし、現実のシナリオでは非現実的です。また、報酬関数を手動で設計するために大きな...
Original: arXiv:2310.02635v5 Announce Type: replace-cross Abstract: Reinforcement learning (RL) is a promising approach for solving robotic manipulation tasks. However, it is challenging to apply the RL algori...
音声からの変換基本文法：未訓練したディープニューラルネットワークにおける自発的な接続
Basic syntax from speech: Spontaneous concatenation in unsupervised deep neural networks
arXiv:2305.01626v4 Announce Type: replace-cross 摘要：構文の計算モデルは主にテキストに基づいています。ここでは、構文の進化における最も基本的な第一歩が、未訓練の方法で生の音声から直接モデル化できる可能性を提案します。私たちは、構文の最も普遍的で基本となる一部操作である「接続」に焦点を当てます。 私たちは、「自発的な接続」という現象を導入します：これは...
Original: arXiv:2305.01626v4 Announce Type: replace-cross Abstract: Computational models of syntax are predominantly text-based. Here we propose that the most basic first step in the evolution of syntax can be...