訓(xùn)練樣本相當(dāng)于給同學(xué)們練習(xí)的習(xí)題，測試過程則相當(dāng)于考試，顯然，若測試樣本被用作訓(xùn)練了，則得到的將是過于“樂觀”的估計結(jié)果．可是，我們只有一個包含m個樣例的數(shù)據(jù)集D=．[（z1，可1），(X2，y2)，…，(Xm，Ym)]．，既要訓(xùn)練，又要測試，怎樣才能做到呢？答案是：通過對D進行適當(dāng)?shù)奶幚恚瑥闹挟a(chǎn)生出訓(xùn)練集S和測試集T.下面介紹幾種常見的做法．2.2.1留出法“留出法”(hold-out)直接將數(shù)據(jù)集D劃分為兩個互斥的集合，其中一個集合作為訓(xùn)練集S，另一個作為測試集T，即D=SUT，S nT=g．在S上訓(xùn)練出模型后，用T來評估其測試誤差，作為對泛化誤差的估計．以二分類任務(wù)為例，假定D包含1000個樣本，將其劃分為S包含700個樣本，T包含300個樣本，用S進行訓(xùn)練后，如果模型在T上有90個樣本分類錯誤，那么其錯誤率為(90/300)×100%=30%，相應(yīng)的，精度為1- 30070=70070.