评估方法
留出法
两个互斥集合
交叉验证
k阶交叉验证
自助法
随机采样
性能度量
回归
- 均方误差
分类
- 错误率、精度
- 查准率、查全率；P-R图、BEP；
- ROC，AUC
- 代价敏感错误率、代价曲线 （加权）
统计假设检验
二项检验、t分布检验
对单个学习期泛化性能假设的检验
交叉验证t检验
比较两个学习器
McNemar检验
二分类问题，比较两个学习器
Friedman检验、Nemenyi检验
Friedman比较多个学习器，Nemenyi后续检验
偏差、方差
偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力
方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响
噪声：表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度