量子アダプティブ・セルフアテンションによる量子トランズフォーマーモデル向け最適化

arXiv:2504.05336v3 Announce Type: replace-cross 摘要：量子計算を深層学習アーキテクチャに統合することは有望だが未解明な課題です。量子層が実際にどのように機能し、どの程度の量子計算が必要なのか。本研究は、量子アダプティブ・セルフアテンション（QASA）というハイブリッドトランズフォーマーを通じて両方の疑問に答えます。QASA はエンコーダーの 1 レベルにおける値プロジェクションをパラメータ化された量子回路（PQC）に置き換え、他のすべての層を古典的に保つことで、単一エンコーダー層に限定されたアプローチを採用しています。この「最小限の量子統合」戦略は、他者の量子モデルよりもはるかに少ない 36 個の可変量子パラメータのみを使用し、9 種類の合成ベンチマークのうち 4 種類で最小二乗誤差（MSE）を最低に抑え、実世界の ETTh1 データセットにおいては平均絶対誤差（MAE）を 6.0% 削減することができました。アブラション研究により、量子層の「位置」が「数」よりも重要であることが示されました。追加する量子層が増えるほど性能は低下し、最適な位置に配置された単一量子層のみが多層量子構成より一貫して優れた性能を発揮しました。QLSTM や QnnFormer という 2 つの最近の量子時系列基準モデルとの比較では、QASA は量子パラメータが 2～4 倍多いモデルと同等または優れた性能を示し、特に季節性トレンドタスクにおいて QLSTM を大幅に凌駕（p=0.009, Cohen's d>6）しました。至关重要的是，その利便性は「タスク条件付き」です。QASA はカオス的、ノイズに富み、トレンドに支配された信号において優れる一方、清潔な周期的波形においては古典的トランズフォーマーが優れていることを示しました。これにより、量子強化がどの場面で妥当かを実用的な分類体系を提供しています。これらの発見は、量子・古典ハイブリッド設計のための「構造の簡潔性」の原理を確立しました。最大限の量子利得は、量子資源の最大化ではなく、最も重要な場所に最小限の量子計算を戦略的に配置することにより得られます。

arXiv:2504.05336v3 Announce Type: replace-cross Abstract: Integrating quantum computing into deep learning architectures is a promising but poorly understood endeavor: when does a quantum layer actually help, and how much quantum is enough? We address both questions through Quantum Adaptive Self-Attention (QASA), a hybrid Transformer that replaces the value projection in a \emph{single} encoder layer with a parameterized quantum circuit (PQC), while keeping all other layers classical. This \emph{minimal quantum integration} strategy uses only 36 trainable quantum parameters -- fewer than any competing quantum model -- yet achieves the best MSE on 4 of 9 synthetic benchmarks and a 6.0\% MAE reduction on the real-world ETTh1 dataset. An ablation study reveals that quantum layer \emph{position} matters more than \emph{count}: adding more quantum layers degrades performance, while a single layer at the optimal position consistently outperforms multi-layer quantum configurations. Comparison with two recent quantum time-series baselines -- QLSTM and QnnFormer -- confirms that QASA matches or exceeds models with $2$--$4\times$ more quantum parameters, significantly outperforming QLSTM on the seasonal trend task ($p{=}0.009$, Cohen's $d{>}6$). Crucially, the benefit is \emph{task-conditional}: QASA excels on chaotic, noisy, and trend-dominated signals, while classical Transformers remain superior for clean periodic waveforms -- providing a practical taxonomy for when quantum enhancement is warranted. These findings establish an \emph{architectural parsimony} principle for hybrid quantum-classical design: maximal quantum benefit is achieved not by maximizing quantum resources, but by strategically placing minimal quantum computation where it matters most.