?模型評(píng)估

模型評(píng)估是模型開(kāi)發(fā)過(guò)程不可或缺的一部分。它有助于發(fā)現(xiàn)表達(dá)數(shù)據(jù)的最佳模型和所選模型將來(lái)工作的性能如何。

(資料圖片僅供參考)

按照數(shù)據(jù)集的目標(biāo)值不同，可以把模型評(píng)估分為分類模型評(píng)估和回歸模型評(píng)估。

一、分類模型評(píng)估

準(zhǔn)確率：預(yù)測(cè)正確的數(shù)占樣本總數(shù)的比例。其他評(píng)價(jià)指標(biāo)：精確率、召回率、F1-score、AUC指標(biāo)等

均方根誤差（Root Mean Squared Error，RMSE）

RMSE是一個(gè)衡量回歸模型誤差率的常用公式。不過(guò)，它僅能比較誤差是相同單位的模型。

a 為真實(shí)值；p 為預(yù)測(cè)值

舉例：

假設(shè)上面的房?jī)r(jià)預(yù)測(cè)，只有五個(gè)樣本，對(duì)應(yīng)的真實(shí)值為：100,120,125,230,400預(yù)測(cè)值為：105,119,120,230,410

那么使用均方根誤差求解得：

其他評(píng)價(jià)指標(biāo)：

相對(duì)平方誤差（Relative Squared Error，RSE）平均絕對(duì)誤差（Mean Absolute Error，MAE)相對(duì)絕對(duì)誤差（Relative Absolute Error，RAE)

模型評(píng)估用于評(píng)價(jià)訓(xùn)練好的的模型的表現(xiàn)效果，其表現(xiàn)效果大致可以分為兩類：過(guò)擬合、欠擬合。

在訓(xùn)練過(guò)程中，你可能會(huì)遇到如下問(wèn)題：

訓(xùn)練數(shù)據(jù)訓(xùn)練的很好啊，誤差也不大，為什么在測(cè)試集上面有問(wèn)題呢？

當(dāng)算法在某個(gè)數(shù)據(jù)集當(dāng)中出現(xiàn)這種情況，可能就出現(xiàn)了擬合問(wèn)題。

因?yàn)闄C(jī)器學(xué)習(xí)到的天鵝特征太少了，導(dǎo)致區(qū)分標(biāo)準(zhǔn)太粗糙，不能準(zhǔn)確識(shí)別出天鵝。

欠擬合（under-fitting）：模型學(xué)習(xí)的太過(guò)粗糙，連訓(xùn)練集中的樣本數(shù)據(jù)特征關(guān)系都沒(méi)有學(xué)出來(lái)。

機(jī)器已經(jīng)基本能區(qū)別天鵝和其他動(dòng)物了。然后，很不巧已有的天鵝圖片全是白天鵝的，于是機(jī)器經(jīng)過(guò)學(xué)習(xí)后，會(huì)認(rèn)為天鵝的羽毛都是白的，以后看到羽毛是黑的天鵝就會(huì)認(rèn)為那不是天鵝。

過(guò)擬合（over-fitting）：所建的機(jī)器學(xué)習(xí)模型或者是深度學(xué)習(xí)模型在訓(xùn)練樣本中表現(xiàn)得過(guò)于優(yōu)越，導(dǎo)致在測(cè)試數(shù)據(jù)集中表現(xiàn)不佳。