LoRA によって誘発されるロジットシフトの形式化：技術的ノート

arXiv:2604.20313v1 発表タイプ：新規 要約：本技術的ノートでは、Low-Rank Adaptation (LoRA) によって誘発されるロジットシフトおよびファクトマージンの変化について、第一次近似による形式化を提供します。基礎モデルの軌道において第一次 Fréchet 近似を用いることで、マルチレイヤー LoRA 効果を、レイヤーごとの寄与の線形和と、レイヤー間の相互作用を表すより高い次の補余項への分解を示します。

arXiv:2604.20313v1 Announce Type: new Abstract: This technical note provides a first-order formalisation of the logit shift and fact-margin change induced by Low-Rank Adaptation (LoRA). Using a first-order Fr\'echet approximation around the base model trajectory, we show that the multi-layer LoRA effect can be decomposed into a linear summation of layerwise contributions and a higher-order remainder term representing inter-layer coupling.