関連性ベクトルマシン

数学では、 関連性ベクトルマシン（RVM）は、ベイジアン推論を使用して、回帰および確率的分類のpar約解を取得する機械学習手法です。 RVMの機能形式はサポートベクターマシンと同じですが、確率的な分類を提供します。

実際には、共分散関数を使用したガウスプロセスモデルと同等です。

k（x、x ′）= ∑j =1N1αjφ（x、xj）φ（x′、xj）{\ displaystyle k（\ mathbf {x}、\ mathbf {x '}）= \ sum _ {j = 1 } ^ {N} {\ frac {1} {\ alpha _ {j}}} \ varphi（\ mathbf {x}、\ mathbf {x} _ {j}）\ varphi（\ mathbf {x} '、\ mathbf {x} _ {j}）}

ここで、φ{\ displaystyle \ varphi}はカーネル関数（通常はガウス）、αj{\ displaystyle \ alpha _ {j}}は重みベクトルw〜N（0、α-1I）{\の事前分布の分散ですdisplaystyle w \ sim N（0、\ alpha ^ {-1} I）}、およびx1、…、xN {\ displaystyle \ mathbf {x} _ {1}、\ ldots、\ mathbf {x} _ {N} }は、トレーニングセットの入力ベクトルです。

サポートベクターマシン（SVM）と比較して、RVMのベイジアン定式化により、SVMの一連の自由パラメーター（通常、相互検証ベースの最適化が必要）が回避されます。ただし、RVMは期待値最大化（EM）に似た学習方法を使用しているため、極小値のリスクがあります。これは、SVMで採用されている標準の順次最小最適化（SMO）ベースのアルゴリズムとは異なり、（凸問題の）グローバルな最適化を見つけることが保証されています。

関連性ベクトルマシンは、Microsoftによって米国で特許を取得しています。