1.2支持向量回歸機(jī)

支持向量回歸機(jī)(Support Vector Regression, SVR)與SVM的主要不同點是尋找的一個最優(yōu)超平面，不是將兩類樣本點分離的最遠(yuǎn)，而是讓所有的樣本點距離這個最優(yōu)超平面的總方差最小 。若給定樣本數(shù)據(jù)集{(xi,yi),i=1,2,...,n}，其中xi=T，yi∈R，一個回歸函數(shù)則被建立：

式(5)中，φ(x)為原始特征數(shù)據(jù)的非線性映射函數(shù)，w為權(quán)向量，b∈R為閾值。

引入線性不敏感損失函數(shù)θ，f(xi)表示預(yù)測值，yi為相對應(yīng)的實際值，|yi−f(xi)|為真實值與預(yù)測值之間的差，θ不敏感函數(shù)引用的意義在于若|yi−f(xi)|在允許誤差范圍內(nèi)，那么f(xi)沒有損失，如式(6)所示。引入正則化參數(shù)c，式(5)可以轉(zhuǎn)化為式(7)的代價函數(shù)：

引入松弛變量ξ1i,ξ2i，可以建立式(8)的目標(biāo)函數(shù)與式(9)的約束條件：

引入拉格朗日函數(shù)和核函數(shù)K(xi,xj)=φ(xi)φ(xj)，可將式(8)和式(9)變換成對偶形式：

式(10)-(11)中的α為拉格朗日乘子，在KKT(Karush-Kuhn-Tucker)條件下，對最優(yōu)解α和α∗求解，可以得出：

式(12)中Nnsv表示支持向量的個數(shù)，計算可得偏置量b∗。綜上，最終可得SVR的擬合函數(shù)，如式(13)：

當(dāng)核函數(shù)選擇的是式(14)的sigmoid函數(shù)時，SVR實現(xiàn)的是一個多層感知器神經(jīng)網(wǎng)絡(luò)，對未知變化狀況的樣本集具有良好的泛化能力，溶解氧的預(yù)測值可以表示為式(15):

聲明：本文所用圖片、文字來源《信息與控制.北大核心CSCD》，版權(quán)歸原作者所有。如涉及作品內(nèi)容、版權(quán)等問題，請與本網(wǎng)聯(lián)系刪除。

相關(guān)鏈接：神經(jīng)，溶解氧，拉格朗日