ニューラルネットワークにおける回帰推論とメタ学習の事前分布

arXiv:2602.08782v1 Announce Type: cross 要約：ベイズ主義の核心的な側面の一つは、新たな証拠にともなって事前信念を更新することにある。もともとして事前信念を持たない場合、ベイズ的アプローチを維持することはどのように可能か？これはベイズ深層学習の分野において中心的な課題の一つであり、予測タスクに関する信念をモデルパラメータの上の事前分布として表現する方法が明確ではない。ベイズ深層学習と確率的メタ学習の分野を架け橋し、我々は、各データセットに対する回帰的変数推論を実行する手法を導入することで、データセットのコレクションから重み前の方を学習する方法を提示する。我々が開発したモデルは、BNN の重みの集合を潜在変数とし、その潜在変数サンプルによってパラメタ化されたニューラルネットワークをデコーダーとするニューラルプロセッサとして見られる。このユニークなモデルにより、我々は事前分布が適切に特定された条件下におけるベイズニューラルネットワークの挙動を研究できるだけでなく、ベイズニューラルネットワークを柔軟な生成モデルとして使用でき、かつニューラルプロセッサにおいて従来難しかったタスク内ミニバッチ化や、極端なデータ不足下におけるメタ学習を実行できるようになった。

arXiv:2602.08782v1 Announce Type: cross Abstract: One of the core facets of Bayesianism is in the updating of prior beliefs in light of new evidence$\text{ -- }$so how can we maintain a Bayesian approach if we have no prior beliefs in the first place? This is one of the central challenges in the field of Bayesian deep learning, where it is not clear how to represent beliefs about a prediction task by prior distributions over model parameters. Bridging the fields of Bayesian deep learning and probabilistic meta-learning, we introduce a way to $\textit{learn}$ a weights prior from a collection of datasets by introducing a way to perform per-dataset amortised variational inference. The model we develop can be viewed as a neural process whose latent variable is the set of weights of a BNN and whose decoder is the neural network parameterised by a sample of the latent variable itself. This unique model allows us to study the behaviour of Bayesian neural networks under well-specified priors, use Bayesian neural networks as flexible generative models, and perform desirable but previously elusive feats in neural processes such as within-task minibatching or meta-learning under extreme data-starvation.